Vấn đề này rất nghiêm trọng (và đã được biết trước), và chưa có cách nào thoát ra được với nguyên tắc hoạt động của LLM (AI) hiện tại.
LLM hiện tại được train dựa trên dữ liệu khổng lồ của loài người tích lũy từ trước tới giờ, và "độ tốt" của nó sẽ phụ thuộc vào chính nguồn dữ liệu đó.
Lấy ví dụ trong lập trình chẳng hạn, giả sử có một vấn đề P, và LLM đưa ra hai giải pháp S1 và S2. Giải pháp S1 tốt hơn nhưng phức tạp và cần nhiều kiến thức để hiểu hơn S2, lập trình viên không đủ khả năng sẽ có xu hướng chọn S2.
Do vậy sẽ dẫn tới vòng lặp sau đây: lập trình viên kém => chọn S2 => S2 sẽ xuất hiện nhiều hơn S1 => LLM học trên dữ liệu mới sẽ có xu hướng đưa ra S2 => S1 rơi vào quên lãng => lập trình viên sử dụng LLM chỉ thấy S2 => lập trình viên càng kém đi.
Vòng lặp này không thể thoát ra được với nguyên tắc hoạt động hiện tại của ML: data sử dụng để học càng kém, thì nó càng kém.
Với Toán học tình huống cũng y hệt như vậy: LLM dùng các hiểu biết Toán học đã tích lũy cả ngàn năm để đưa ra cực nhanh các lời giải cho các giả thuyết rất khó, nhưng khi làm điều đó, nó không thực sự tạo ra hiểu biết mới.
Một nhánh Toán học được phát triển là do các nhà Toán học liên tục đặt các câu hỏi (có thể hoàn toàn ngớ ngẩn) và tìm cách suy nghĩ trả lời. Trong quá trình đó, kiến thức và hiểu biết được tạo ra (nhưng có thể chưa được sử dụng ngay, rất rất nhiều các kết quả được tạo ra từ vài chục năm trước khi nó được sử dụng).
Khi LLM can thiệp vào quá trình này, các bài toán lớn trong quá khứ được giải quyết, nhưng lượng kiến thức sinh ra rất ít. Các thế hệ sau không có kiến thức để học, LLM cũng không có gì để học, chất lượng kém đi, cứ thế rơi vào vòng lặp.
Đó là ý của bài "tuyên ngôn" kia về sự lệch pha giữa AI và Toán học, chứ không phải là các nhà Toán học ngăn cản việc sử dụng AI (Terence Tao là một trong những người đầu tiên sử dụng LLM, và rất chủ động làm điều này).
Một nhà Toán học họ phải vắt óc suy nghĩ để đưa ra hệ định nghĩa, họ phải có một thứ trực giác siêu phàm để kết nối các định nghĩa thông qua các định lý, mệnh đề bổ đề, hệ quả,... được chứng minh chặt chẽ chứ đâu đơn thuần là tính toán
