Tóm gọn nội bác Murphy muốn truyền tải trong các sách của bác trong một câu thì là như thế này:
ML algorithms (
trained ML models) là kết quả của (A) data-generating model (hiểu đơn giản model chưa feed dữ liệu vô để train) và (B) inference method tương ứng.
Vd Classification mà tối ưu binary cross-entropy loss + L1/L2-regularisation là kết quả của áp dụng (B) - là MAP estimation method lên (A) - là model có biến y/target ~ phân bố Bernoulli và bộ tham số theta ~ phân bố Laplace/Gauss.
Có rất nhiều cách thiết kế mô hình - (A) và cũng nhiều phương pháp inference - (B). Kết hợp (A) với (B) bạn sẽ tạo ra được rất rất nhiều thuật toán ML, bao gồm những cái quen thuộc như k-means, kalman filter, ..., thuật toán tổng quát hơn của những cái quen thuộc này để khắc phục các yếu điểm của chúng, vân vân mây mây..
Sách dẫn dắt cho bạn biết các cách thiết kế (A) và các phương pháp (B), tùy sách có thể bao gồm:
- (A): linear models, hierarchical models vd. Mixture models, time-series vd. state-space models, dynamical models
- (B): exact inference methods vd. enumeration, propagation, MC sampling; approximate inference methods vd. MAP/maximum-likelihood estimation, Variational Inference (VI) <- nếu làm predictive model thì nên tập trung vào methods nào có thể biến bài toán inference thành bài toán optimization (MAP/ML estimation, VI), nếu làm diagnostic/prescriptive model thì nên ưu tiên exact methods hơn
Ngoài ra còn có các nội dung về so sánh mô hình (Model comparison) thế nào, áp dụng ADVI cho neural networks, ... Bạn cứ từ từ thẩm, nhớ đừng bỏ phần lời mở đầu của mỗi chương và subsection cuối mỗi chương
Nhân tiện, để tự tin hơn khi đọc mấy cuốn ntn thì nên nắm vững khi nào thì các biến conditional dependent/independent với nhau nhe. Phần nào khó hiểu quá thì note lại các key concept, keyword rồi map xem chúng thuộc về các concept nền tảng nào trong khung trên. Nếu không map được thì thử nhờ cả ChatGPT giải thích với cho vd minh họa thử coi, nó giải thích cũng ổn áp lắm đó