thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)

Là các mạng tích chập đã huấn luyện sẵn. Vì đặc trưng ảnh được chích xuất đều dựa trên đường màu sắc nên có kiểu lấy một mạng phân loại anh (thường là mạng phân loại 1000 lớp) sau đó huấn luyện lại nguyên phần kết nối đầy đủ ở cuối theo số lớp của mình sẽ được kết quá tương đối tốt (vector đặc trưng 1000 chiều là đủ) sau đó huấn luyện lại một lần nữa toàn mạng để tối ưu tiếp.
Transfer learning hả thím? Cũng chưa ăn thua..

via theNEXTvoz for iPhone
 
Thím làm cái gì thế nếu không ngạu bảo mật chia sẻ anh em/chị em cùng thảo luận như huấn luyện mạng luôn học hỏi.
Machine vision thím à, kiểm tra sản phẩm nó hỏng hóc chỗ nào. Mà vì mẫu bị hư không thể nhiều nên training set không bao nhiêu, augmentation rồi vẫn chưa đủ.
 
Dữ liệu chụp là ảnh sản phẩm à ? Trắng đen hay mầu, có theo khuôn mẫu nào không ? (kiểu mạch điện tử ý) làm product hay thuê ngoài.
 
Mình cũng đang làm 1 project tương tự, có 11 classes, data thì vừa ít vừa imbalance, xong rồi chụp linh tinh, thì mình tách ra mỗi model chỉ detect 1 class sau đó transfer. Bên thuê mình cũng vật vã ko xong nên mới đi outsource ra ngoài, giờ lên 75% rồi :D
 
Team mình đang xài DL để làm segmentation (localization) tức là tìm điểm ảnh nào thuộc class nào mà IOU nó cứ trầy trật 50%. Vấn đề là ít sample quá, thay đổi trong môi trường quá nhiều: ánh sáng, góc độ,.. label thì mệt bở hơi tai. Đã xài augmentation tè le rồi vẫn không lên mấy, mấy thím có tuyệt kỹ gì không?
Mình không chắc cách này có thể giúp được gì không vì mình cũng không làm nhiều về segmentation. Nếu vấn đề nằm ở ánh sáng thì cần augment cả training time và testing time. Đầu tiên có thể thử bằng gamma correction cho đơn giản, sau đó nếu không ổn thì chuyển sang dùng unpaired GAN để chuyển đổi giữa các domain ánh sáng khác nhau. Từ đó 1 ảnh có thể sinh ra nhiều ảnh khác mới mức độ ánh sáng khác nhau. Nhược điểm của phương pháp này là cần collect khá nhiều data từ nhiều điều kiện ánh sáng. Vấn đề domain sensitive cũng có thể giải quyết bằng cách cố gắng học ra invariant features, tuy nhiên mảng nghiên cứu này còn khá mới. Còn khá nhiều phương pháp dựa vào hướng tiếp cận domain adaptation và domain generalization. Tuy nhiên nó cần khá nhiều thời gian để thử nghiệm, nếu project của bạn cho phép chạy long term thì có thể nghiên cứu về nó.

Về khía cạnh tăng thêm dữ liệu, có một số phương pháp fancy để bạn tìm ra chiến lược gán nhãn tối ưu hơn, nghĩa là gán nhãn ít nhất mà đem lại hiệu quả cao nhất.

Còn cách đơn giản nhất bạn có thể thử là dùng multi-task learning để train model. Ngoài task chính là segmentation, bạn train thêm 1 task nữa để model reconstruct lại ảnh ban đầu (VAE chẳng hạn). Cách này có thể khiến cho model generalize tốt hơn. Ngoài ra không biết bạn đã thử phương pháp augmentation giống Quốc Lê trong paper Unsupervised data augmentation for consistency learning chưa?
 
Last edited:
Team mình đang xài DL để làm segmentation (localization) tức là tìm điểm ảnh nào thuộc class nào mà IOU nó cứ trầy trật 50%. Vấn đề là ít sample quá, thay đổi trong môi trường quá nhiều: ánh sáng, góc độ,.. label thì mệt bở hơi tai. Đã xài augmentation tè le rồi vẫn không lên mấy, mấy thím có tuyệt kỹ gì không?
đã là điểm ảnh sao lại có IOU ở đây nhỉ :D
 
đã là điểm ảnh sao lại có IOU ở đây nhỉ :D
Bản chất cụm điểm ảnh sẽ tạo nên 1 region. Định nghĩa IOU là diện tích vùng giao của prediction và ground truth chia cho diện tích của union hai vùng này. Gọi là classify từng pixel, nhưng sau đó khả năng sẽ phải chạy một giải thuật post-processing gì đó (connected components hoặc dựa trên nearest neighbor chẳng hạn) để group các cụm pixel lại. Hoặc có thể dùng một giải thuật nào đó để làm smooth từ bước sinh ra probability map cho từng pixel (ví dụ CRF) vì các pixels gần nhau không independent với nhau
 
Nếu bạn thể hiện được bạn đủ ngon trong CV thì vẫn có cơ hội.
Data cũng có mảng Data Analystic. Thường sẽ tuyển các bạn có background kinh tế hoặc background về domain của data đó.
Còn thông thường lọc CV tất nhiên sẽ loại các bạn tay ngang rồi. 4,5 năm đại học không phải chỉ có chơi bời :)

via theNEXTvoz for iPhone

Background vật lý có được không ạ? :adore:


Sent from Xiaomi Redmi Note 7 via nextVOZ
 
Mình làm Automotive, đang nghiên cứu về Autonomous Driving với Lidar/Radar/Camera thì thấy đụng về ML/Computer Vision khá nhiều. AE nào biết course nào ổn giới thiệu với. Đã tham khảo mấy course của Coursera và Udacity những thấy giá khá chát nên đang tính kiếm tư liệu tự học.
 
Mình làm Automotive, đang nghiên cứu về Autonomous Driving với Lidar/Radar/Camera thì thấy đụng về ML/Computer Vision khá nhiều. AE nào biết course nào ổn giới thiệu với. Đã tham khảo mấy course của Coursera và Udacity những thấy giá khá chát nên đang tính kiếm tư liệu tự học.
https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv
https://cs231n.github.io/

https://www.youtube.com/playlist?list=PLqYmG7hTraZCDxZ44o4p3N5Anz3lLRVZF
Khoá CS231N thì nổi hơn nhưng chỉ có video 2017, khóa DeepMind thì mới ra lò 2020, còn khóa của NYU có cả Yann LeCun dạy luôn :confident:
 
Mình làm Automotive, đang nghiên cứu về Autonomous Driving với Lidar/Radar/Camera thì thấy đụng về ML/Computer Vision khá nhiều. AE nào biết course nào ổn giới thiệu với. Đã tham khảo mấy course của Coursera và Udacity những thấy giá khá chát nên đang tính kiếm tư liệu tự học.

Course của Coursera bác có thể audit sau đó tìm các bài tập trên github ấy

Gửi từ Xiaomi Redmi Note 7 bằng vozFApp
 
https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv
https://cs231n.github.io/

https://www.youtube.com/playlist?list=PLqYmG7hTraZCDxZ44o4p3N5Anz3lLRVZF
Khoá CS231N thì nổi hơn nhưng chỉ có video 2017, khóa DeepMind thì mới ra lò 2020, còn khóa của NYU có cả Yann LeCun dạy luôn :confident:
thank bác
Course của Coursera bác có thể audit sau đó tìm các bài tập trên github ấy

Gửi từ Xiaomi Redmi Note 7 bằng vozFApp
Audit thế nào nhỉ.

Bọn Udacity với Coursera mạnh cái là nó có mấy bộ simulator để vọc nữa thì phải. có ae nào học chưa nhỉ
 
Back
Top