thắc mắc Thắc mắc training model Deep Learning

Du Học Sinh Cali

Senior Member

• 5/8/22

• #1

Mình đang ứng dụng thuật toán vào training model ở nhiều mô hình khác nhau để tìm thuật toán phù hợp nhất, có lúc mình train thì độ chính xác chỉ quanh quẩn 1%, có lúc thì tăng đúng dự đoán. Nhưng cùng 1 code, cùng 1 input CIFAR100. Nhờ các thím trợ giúp với.

Mô hình bị lỗi

Mô hình không bị lỗi
Cảm ơn các thím đã xem qua chúc các thím cuối tuần vui vẻ

 

Arik97

Senior Member

• 5/8/22

• #2

Thím viết gì mà mình ko hiểu. Ứng dụng thuật toán nào vào training model? hay ý thím là cùng 1 code để train nhưng thử nhiều model khác nhau thì có model lên đc 98%, có model chỉ 1%?

Sent from Samsung SM-G986U1 using vozFApp

 

Du Học Sinh Cali

Senior Member

• 5/8/22

• #3

Arik97 đã nói:

Thím viết gì mà mình ko hiểu. Ứng dụng thuật toán nào vào training model? hay ý thím là cùng 1 code để train nhưng thử nhiều model khác nhau thì có model lên đc 98%, có model chỉ 1%?

Sent from Samsung SM-G986U1 using vozFApp

Nhấp để mở rộng...

đúng rồi thím, có model thì lên được còn model thì chỉ lòng vòng ở 1% chả hiểu, mặc dù xài chung 1 code

 

Arik97

Senior Member

• 5/8/22

• #4

Du Học Sinh Cali đã nói:

đúng rồi thím, có model thì lên được còn model thì chỉ lòng vòng ở 1% chả hiểu, mặc dù xài chung 1 code

Nhấp để mở rộng...

Cái này thì có nhiều lý do. Thím tự build model rồi train từ scratch hay finetune 1 cái model có sẵn pretrained weight?
Với cả model khác nhau có thể phải dùng learning rate khác nhau đấy. Vd như finetune các model dòng transformer thì thường dùng learning rate nhỏ. Learning rate to quá thì nó sẽ ko hội tụ nên accuracy không tăng. Thím nên tìm bài báo về model cần train rồi đọc phần experiments xem ngta setup learning rate, lr scheduler, optimizer thế nào để train rồi ốp lại vào code của mình

 

DragUn

Senior Member

• 5/8/22

• #5

Khó hiểu vậy, thớt dùng 1 code, 1 model, ví dụ là ResNet, và train 2 lần, mỗi lần ra 1 kq khác nhau. Hay là 1 code, 2 model, ví dụ ResNet và VGG, train 2 lần, mỗi lần 1 model?

via theNEXTvoz for iPhone

 

N

Người Xứ Phản

Junior Member

• 5/8/22

• #6

DragUn đã nói:

Khó hiểu vậy, thớt dùng 1 code, 1 model, ví dụ là ResNet, và train 2 lần, mỗi lần ra 1 kq khác nhau. Hay là 1 code, 2 model, ví dụ ResNet và VGG, train 2 lần, mỗi lần 1 model?

via theNEXTvoz for iPhone

Nhấp để mở rộng...

chắc là 2 model khác nhau ấy thím

 

burger001

Junior Member

• 6/8/22

• #7

Cùng một model nhưng khởi tạo weight có thể dẫn đến khác biệt trong lúc training, vì thê cần set seed là 1 số cố định khi train. Ngoài ra bạn để ý cả các hyperparameters nữa.

 

alpha_coder

Senior Member

• 6/8/22

• #8

Thím hiểu định nghĩa của epoch ko đã

 

burger001

Junior Member

• 8/8/22

• #9

alpha_coder đã nói:

Xem tệp đính kèm 1307506
Thím hiểu định nghĩa của epoch ko đã

Nhấp để mở rộng...

Có khi nào thanh niên train liên tục mà cứ nghĩ là train từ đầu ko nhỉ :v

 

Du Học Sinh Cali

Senior Member

• 8/8/22

• #10

burger001 đã nói:

Có khi nào thanh niên train liên tục mà cứ nghĩ là train từ đầu ko nhỉ :v

Nhấp để mở rộng...

ko phải hầy, cái phía dưới là mình load từ checkpoint lên train tiếp nên chỉ có nhiêu đó, những epoch trước mình ko chụp được. Còn cái phía trên do độ chính xác nó tính sai nên tầm 7 epoch nó đã quit ko train nữa nên mình không canh chụp được ở 2 epoch giống nhau.

 

Du Học Sinh Cali

Senior Member

• 8/8/22

• #11

Mình train VGG9, 11, 13 thì không sao nhưng VGG16 thì bị.

 

alpha_coder

Senior Member

• 9/8/22

• #12

Model đã hội tụ chưa mà quit?