thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)
- Thread starter Thích Màu Hường
- Start date
Theo feature important hoặc theo business sense là chia thành các nhóm.
Rồi coi thêm predictive power. Nếu cắt feature mà ko giảm thì là tốt.
Nói chung có nhiều cách. Mình biết sơ thế thôi
Cú Đấm Sấm Sét
Senior Member
có sự giao thoa gì giữa ngành Hệ thống thông tin (Information systems) với Khoa học dữ liệu (Data Science) ko các bác. Em đang học HTTT và thấy DS quá là hay luôn
Thích Màu Hường
Senior Member
Hiện tại mình chỉ biết một số cách sau:
1. Cách dùng statistics:
- Numerical variable vs numerical variable: tính correlation của 2 biến (pearson correlation để kiểm tra linear relationship, spearman correlation để kiểm tra monotonic relationship).
- Categorical variable vs categorical variable: dùng Chi-Square test để làm hypothesis test, tính p-value < 0.05 coi như 2 biến không độc lập, có liên quan nhau.
- Numerical variable vs categorical variable: dùng one-way ANOVA làm hypothesis test tính ra F-Statistics với p-value < 0.05 thì xem như có relationship.
2. Cách dùng Machine Learning:
Tính predictive power score theo như bài viết dưới đây, hiểu đơn giản là tác giả dùng các giải thuật như DecisionTree chạy Regression, Classification rồi so nó với baseline model. Cách này thi nhận biết được quan hệ 1 chiều x => y khác y => x:
https://towardsdatascience.com/rip-correlation-introducing-the-predictive-power-score-3d90808b9598
3. Plotting: visualize 2 biến lên xem nó có liên quan sơ múi gì nhau ko.
Ko biết còn cách nào khác ko.
nguyenluc900
Member
Mình đang tính phân nhóm Customer (R-Recency, F-Frequency, M -Moneytary).
Mình đang tính xài giải thuật K-Means để phâm cụm Customer. Tuy nhiên sếp mình ko đồng ý vs việc phân nhóm bằng K-means
Ko biết là ae Phân nhóm Customer theo phương pháp nào ?
Mình đang tính xài giải thuật K-Means để phâm cụm Customer. Tuy nhiên sếp mình ko đồng ý vs việc phân nhóm bằng K-means
Ko biết là ae Phân nhóm Customer theo phương pháp nào ?
a3.phantom.vn
Đã tốn tiền
Bác có thể nói lí do tại sao sếp không đồng ý kmeans không? Kmeans đơn giản nên cứ chạy thử trước lấy baseline. Bác đã chạy chưa, và vì kết quả thấp hay là vấn đề gì khác mà sếp lại không đồng ý?
mr.fly1112
Senior Member
Các ngân hàng (e.g. Vietcombank) hiện đang tuân thủ Hiệp ước về vốn Basel II, sử dụng phương pháp tiếp cận dựa trên đánh giá nội bộ. Để ước lượng probability of default họ sử dụng logistics regression. Trong Basel II, có thể đã có sẵn những gợi ý cho mô hình chung. Đó là những gì tôi biết về cái câu hỏi ví dụ của bác.Up
laitung1991
Junior Member
Vô đây thấy mọi người thiên về DS và DE nhiều hơn ah, mấy bạn nói mình cảm thấy có vẻ DA dễ ăn nhỉ kiểu không còn lựa chọn nào mới nhảy vô DA ấy, còn thượng đẳng này nọ nữa chứ 
nguyenluc900
Member
Ông sếp mình người nước ngoài. Mình chạy + visualize luôn nhưng sếp nhìn vào kêu không hợp lý. Rồi ông đưa ra đống logic if else kiểu phân loại Customer bằng scoring
laitung1991
Junior Member
Mình nghĩ bên bạn có những tiêu chí để phân loại rồi và có tập dữ liệu phân loại sẵn hết rồi, tại k-mean là unsupervised learning trừ khi bạn ko có tiêu chí phân loại ntn mới dùng đến, nếu có data phân loại sẵn rồi thì decision tree xem ntn. Đây là ngu kiến của mình ah câc bác chém nhé cái
nguyenluc900
Member
Thì ban đầu chả có tiêu chí gì nên mình mới dùng K-means ấy chứ.Mình nghĩ bên bạn có những tiêu chí để phân loại rồi và có tập dữ liệu phân loại sẵn hết rồi, tại k-mean là unsupervised learning trừ khi bạn ko có tiêu chí phân loại ntn mới dùng đến, nếu có data phân loại sẵn rồi thì decision tree xem ntn. Đây là ngu kiến của mình ah câc bác chém nhé cái
laitung1991
Junior Member
Theo mình vậy là sếp bạn có tiêu chí phân loại riêng dựa vào kinh nghiệm của ổng rồi, một là bây giờ bạn phân loại dạng của ổng muốn kiểu như KH A: bao nhiểu tuổi, thu nhập bao nhiêu là phân loại vô A gì đó, 2 là bạn chứng minh cho sếp thấy là phương pháp k-mean tương đối giống với cái tiêu chí phân loại của sếp bạn mà cái này bạn xuất thẳng ra file kết quả chứ khỏi visualization làm gì, tại như vậy dễ nhìn rõ cái tiêu chí (feature) để đánh giá hơn, rồi pivot cái phân loại của bạn theo các feature và phần trăm của nó. Kiểu sếp bạn chắc kiểu cổ điển mỗi feature có các thang điểm đánh giá riêng, cộng hết lại rồi lấy điểm đó để phân loại customer thui
Last edited:
![[IamNormal]](https://data.voz.vn/avatars/m/1580/1580877.jpg?1697006247){kind=avatar}
[IamNormal]
Senior Member
Chắc bác cũng biết cuộc thi credit scoring do Kalapa tổ chức
Thằng bạn em chỉ đơn giản là đưa hết features vào model nó dùng (XGBoost) sau đó nhân tuyến tinh với 1 hằng số nào đó (?) mà đứng được top 2
Nghe có vẻ ko make sense lắm nhưng model work
Còn trong banking chắc chắn họ không làm như vậy được vì không giải thích được tại sao nó work Trong deep learning thì features selection model cũng tự học được, đơn giản là cái nào không quan trọng thì đánh trọng số thấp đi.
nguyenluc900
Member
Thì đúng là sếp mình phân loại kiểu scoring từng thuộc tính của customer sau đó + các điểm của thuộc tính lại rồi mới sắp xếp thành VIP, normal, ...Theo mình vậy là sếp bạn có tiêu chí phân loại riêng dựa vào kinh nghiệm của ổng rồi, một là bây giờ bạn phân loại dạng của ổng muốn kiểu như KH A: bao nhiểu tuổi, thu nhập bao nhiêu là phân loại vô A gì đó, 2 là bạn chứng minh cho sếp thấy là phương pháp k-mean tương đối giống với cái tiêu chí phân loại của sếp bạn mà cái này bạn xuất thẳng ra file kết quả chứ khỏi visualization làm gì, tại như vậy dễ nhìn rõ cái tiêu chí (feature) để đánh giá hơn, rồi pivot cái phân loại của bạn theo các feature và phần trăm của nó. Kiểu sếp bạn chắc kiểu cổ điển mỗi feature có các thang điểm đánh giá riêng, cộng hết lại rồi lấy điểm đó để phân loại customer thui
a3.phantom.vn
Đã tốn tiền
Nghe có vẻ giống classification bằng mô hình tuyến tính đó bác
laitung1991
Junior Member
Nên mình mới nói bạn cần là chứng minh model bạn chạy cluster giống với tiêu chí của ổng thì ổng sẽ ok ah, kiểu chứng minh hiệu quả của model trong thực tế luôn, quan trọng kết quả giống tương đối đã thì sếp mới theo chứ ông không biết thuật toán này nọ đâu
Last edited:
Thích Màu Hường
Senior Member
Search thấy thì phân tích RFM là bài toán thường gặp trong Market Research. Đây là trường hợp phải vận dụng domain knowlegde. Tốt nhất là thím nên google RFM Analysis để biết các kỹ thuật người ta thường xài rồi sau đó mới áp dụng Machine Learning vào đây để bổ trợ thôi. Vì đây là bài toán phổ biến nên có thể có best practice rồi.
https://en.wikipedia.org/wiki/RFM_(market_research)
Thích Màu Hường
Senior Member
Chắc bác cũng biết cuộc thi credit scoring do Kalapa tổ chức
Thằng bạn em chỉ đơn giản là đưa hết features vào model nó dùng (XGBoost) sau đó nhân tuyến tinh với 1 hằng số nào đó (?) mà đứng được top 2
Nghe có vẻ ko make sense lắm nhưng model work
Trong deep learning thì features selection model cũng tự học được, đơn giản là cái nào không quan trọng thì đánh trọng số thấp đi.
Ờ Machine Learning, Deep Learning là "chiếc hộp thần kỳ", cứ quăng 1 đống data vào cái hộp này là tự nó giải quyết hết, đầu ra sẽ đẹp đẽ thôi phải ko fen?
Mời fen đọc bài này: How to Spot a Fake Data Scientist, nghe câu garbage in garbage out chưa fence?
Last edited:
Thích Màu Hường
Senior Member
Bài này mình đọc lâu rồi, thấy hay nên tha về đây:
THE REAL PREREQUISITE FOR MACHINE LEARNING ISN’T MATH, IT’S DATA ANALYSIS
Nói chung đồng ý với các quan điểm trong bài viết. Các thím nghĩ sao?
THE REAL PREREQUISITE FOR MACHINE LEARNING ISN’T MATH, IT’S DATA ANALYSIS
Nói chung đồng ý với các quan điểm trong bài viết. Các thím nghĩ sao?
Similar threads
