Ayame.9x
Member
Xin chào,
Mình là giáo viên IELTS (8.5 - 2020) và kĩ năng mình dạy chuyên sâu nhất là writing. Mình viết bài này để nói về một vấn đề có thể gây hiểu lầm khi dùng các công cụ AI để chấm chữa bài writing để ôn thi IELTS.
Đầu tiên là phải hiểu về khái niệm "learning data" của machine learning. Có thể nhìn hình sau
"Raw data" - dữ liệu thô, sẽ là yếu tố đầu tiên cơ bản nhất để quyết định cách 1 con AI xử lý và đánh giá một sản phẩm bên ngoài đưa vào. AI của bên ngôn ngữ thường sẽ dùng "corpus" - 1 kho dữ liệu điện tử chứa hàng triệu input ngôn ngữ (tiếng Anh) - để làm nguồn cho con AI học ngôn ngữ. Sau đó con AI sẽ có khả năng nhận diện và đánh giá nguồn ngôn ngữ bên ngoài rồi phân loại. Ví dụ, đưa 1 đoạn truyện trinh thám vào con AI đó thì nó sẽ nhận diện được cấu trúc câu, độ dài, cách dùng từ, thì ... là đặc trưng của ngôn ngữ viết truyện. Nếu hỏi nó "Đoạn văn sau thuộc thể loại gì?" thì nó sẽ trả lời được đoạn đó là fiction.
Hoặc hỏi một kiểu khác đi. Ví dụ như bạn hỏi là "đoạn văn sau nên cải thiện như thế nào để giống văn phong viết truyện trinh thám tiếng Anh hơn?" thì nó sẽ biết dùng mọi nguồn nó học được về thể loại đó rồi so sánh với bài viết đưa vào và sau đó rút ra kết luận nên cải thiện những chỗ gì. Thì đây là tóm gọn nguyên tắc dùng engine để chỉnh sửa ngôn ngữ. Những ứng dụng như Grammarly cũng sử dụng AI vận hành theo cách này.
Tuy nhiên, khi đặt vào bối cảnh là viết để thi cử, câu chuyện không đơn giản như chúng ta nghĩ. Nếu dùng những con AI có nguồn học là ngôn ngữ bản xứ để kiểm tra IELTS Writing, thì đó là SAI QUY TẮC CHẤM THI. Kể cả band 9 của IELTS Writing cũng không đồng nghĩa với việc bạn viết như người bản ngữ, vì người bản ngữ không phải thước đo để so sánh. Nói chính xác hơn thì mọi band điểm của IELTS đều dùng cho đối tượng là EFL - English as a Foreign Language. Vậy nên để thực sự chấm gần chính xác, một con AI cần có nguồn học (learning data) là tất cả các bài viết đều đã được chấm bởi Cambridge (BC/IDP) để nhận diện sát nhất những đặc điểm ngôn ngữ của từng band, rồi so sánh với bài viết ngoài. Con AI duy nhất hiện giờ có cái này là Write&Improve của Cambridge, không còn ứng dụng nào khác. Đây là lí do vì sao mình chưa bao giờ thử các AI trên mạng, dù nó có quảng bá là có thể chấm được IELTS Writing - vì learning data của nó không tới từ Cambridge. Mình chỉ dùng duy nhất Write&Improve để dạy lớp và để lấy tasks luyện cho cá nhân mình.
Ngoài ra, thi cử có một quy trình gọi là chuẩn hóa cách chấm thi. Hướng chấm và award điểm của đợt thi này sẽ không giống với đợt thi kia, vì nó dựa vào phản hồi của đợt thi thử (pre-test) trả về để thấy được mức điểm. Ví dụ một đề writing task 2 của pre-test cho kết quả thấy mặt bằng chung học viên hay bị trở ngại về nội dung (sau khi phân tích benchmark samples), thì sẽ có 2 hướng: một là bỏ luôn đề thi đó thay cái khác hoặc hai là chỉnh lại hướng ra đề rồi cân nhắc điều chỉnh hướng chấm điểm. Những bước này rất đặc thù cho một kì thi, điều mà con AI không thể làm được.
Mình sẽ có thể viết một bài nói về chuyện "chấm điểm" nhưng giờ hơi dài. Nếu phản hồi ok mình sẽ viết tiếp hén.
Mình là giáo viên IELTS (8.5 - 2020) và kĩ năng mình dạy chuyên sâu nhất là writing. Mình viết bài này để nói về một vấn đề có thể gây hiểu lầm khi dùng các công cụ AI để chấm chữa bài writing để ôn thi IELTS.
Đầu tiên là phải hiểu về khái niệm "learning data" của machine learning. Có thể nhìn hình sau
"Raw data" - dữ liệu thô, sẽ là yếu tố đầu tiên cơ bản nhất để quyết định cách 1 con AI xử lý và đánh giá một sản phẩm bên ngoài đưa vào. AI của bên ngôn ngữ thường sẽ dùng "corpus" - 1 kho dữ liệu điện tử chứa hàng triệu input ngôn ngữ (tiếng Anh) - để làm nguồn cho con AI học ngôn ngữ. Sau đó con AI sẽ có khả năng nhận diện và đánh giá nguồn ngôn ngữ bên ngoài rồi phân loại. Ví dụ, đưa 1 đoạn truyện trinh thám vào con AI đó thì nó sẽ nhận diện được cấu trúc câu, độ dài, cách dùng từ, thì ... là đặc trưng của ngôn ngữ viết truyện. Nếu hỏi nó "Đoạn văn sau thuộc thể loại gì?" thì nó sẽ trả lời được đoạn đó là fiction.
Hoặc hỏi một kiểu khác đi. Ví dụ như bạn hỏi là "đoạn văn sau nên cải thiện như thế nào để giống văn phong viết truyện trinh thám tiếng Anh hơn?" thì nó sẽ biết dùng mọi nguồn nó học được về thể loại đó rồi so sánh với bài viết đưa vào và sau đó rút ra kết luận nên cải thiện những chỗ gì. Thì đây là tóm gọn nguyên tắc dùng engine để chỉnh sửa ngôn ngữ. Những ứng dụng như Grammarly cũng sử dụng AI vận hành theo cách này.
Tuy nhiên, khi đặt vào bối cảnh là viết để thi cử, câu chuyện không đơn giản như chúng ta nghĩ. Nếu dùng những con AI có nguồn học là ngôn ngữ bản xứ để kiểm tra IELTS Writing, thì đó là SAI QUY TẮC CHẤM THI. Kể cả band 9 của IELTS Writing cũng không đồng nghĩa với việc bạn viết như người bản ngữ, vì người bản ngữ không phải thước đo để so sánh. Nói chính xác hơn thì mọi band điểm của IELTS đều dùng cho đối tượng là EFL - English as a Foreign Language. Vậy nên để thực sự chấm gần chính xác, một con AI cần có nguồn học (learning data) là tất cả các bài viết đều đã được chấm bởi Cambridge (BC/IDP) để nhận diện sát nhất những đặc điểm ngôn ngữ của từng band, rồi so sánh với bài viết ngoài. Con AI duy nhất hiện giờ có cái này là Write&Improve của Cambridge, không còn ứng dụng nào khác. Đây là lí do vì sao mình chưa bao giờ thử các AI trên mạng, dù nó có quảng bá là có thể chấm được IELTS Writing - vì learning data của nó không tới từ Cambridge. Mình chỉ dùng duy nhất Write&Improve để dạy lớp và để lấy tasks luyện cho cá nhân mình.
Ngoài ra, thi cử có một quy trình gọi là chuẩn hóa cách chấm thi. Hướng chấm và award điểm của đợt thi này sẽ không giống với đợt thi kia, vì nó dựa vào phản hồi của đợt thi thử (pre-test) trả về để thấy được mức điểm. Ví dụ một đề writing task 2 của pre-test cho kết quả thấy mặt bằng chung học viên hay bị trở ngại về nội dung (sau khi phân tích benchmark samples), thì sẽ có 2 hướng: một là bỏ luôn đề thi đó thay cái khác hoặc hai là chỉnh lại hướng ra đề rồi cân nhắc điều chỉnh hướng chấm điểm. Những bước này rất đặc thù cho một kì thi, điều mà con AI không thể làm được.
Mình sẽ có thể viết một bài nói về chuyện "chấm điểm" nhưng giờ hơi dài. Nếu phản hồi ok mình sẽ viết tiếp hén.
.
