[SpyderBot Thảo luận] - PNJ: Ngoài đời biến động, nhưng AI vẫn đánh giá rất cao

Thực ra nếu đã thật sự dùng thuần lý thuyết, thì phen nghĩ sao ko áp dụng các lý thuyết hiện đại, ví dụ tâm lý học hành vi, cái này đang gần như trend của mấy ông ăn nobel kinh tế mấy năm gần đây
Ngoài ra phen nên nghiên cứu thêm các xác suất bayes, để hình dung ra kịch bản, cái kịch bản của phen xác suất sảy ra bao nhiêu %

Mọi kịch bản đều có thể sảy ra nhưng xác suất là bao nhiêu

LightX9 đã nói:

Bên cty tôi sử dụng AI hằng ngày cho công việc, có tình trạng thế này, cùng 1 prompt thì cho ra kết quả như ý thời gian đầu, một thời gian lại trả kết quả kém chất lượng. Tôi nghĩ ngoài vấn đề mô hình thì còn yếu tố Hardware, Computation - năng lực tính toán. Yếu tố này hữu hạn (Các DataCenter đang build, thiếu hụt chip...), và nó toàn quyền do cty cung cấp AI điều phối. Tức họ có thể ưu tiên một task một khách hàng nào đó hơn trong một thời gian. Hoặc với khách hàng nhỏ lẻ, tính toán phức tạp tới đó là đủ, kết luận ngay để tiết kiệm năng lực.
Đó là lý do tại sao một số case user có biểu hiện cộc cằn thì AI chủ động ngưng trò chuyện để tối ưu năng lực cho task có ích. Đơn giản subscription đã charge theo tháng rồi.
Ở trường hợp PNJ, và chúng ta là user thường thì mức độ tính toán chỉ tới đó. Lần sau hỏi lại, nó sẽ tra nhanh các data chính nếu không có gì thay đổi sẽ trả kết quả tương tự để tiết kiệm.
Không biết tôi hiểu vậy có đúng ko.

Nhấp để mở rộng...

Cảm ơn anh, theo mình thì chất lượng đầu ra của LLM không chỉ phụ thuộc vào model, mà còn có thể chịu ảnh hưởng bởi nhiều lớp trong hệ thống vận hành như: model routing, compute budget, latency optimization, caching, retrieval, context window, load balancing,... Đây đều là những thành phần mà các AI providers có thể điều chỉnh để cân bằng giữa chất lượng, tốc độ và chi phí vận hành.
Tuy nhiên, hiện tại không có bằng chứng công khai để kết luận một câu trả lời cụ thể là do "thiếu compute" hay do cơ chế nào khác. Vì vậy, đối với SpyderBot thì bọn mình cố gắng tránh suy luận về nguyên nhân bên trong của model. Thay vào đó, bọn mình đi theo hướng black-box evaluation: không đo cơ chế nội bộ, mà đo hành vi đầu ra (observable behavior) của AI trên nhiều models, nhiều prompts, nhiều thời điểm và nhiều lần chạy, sau đó xây dựng các intelligence từ tập dữ liệu đó. Đây cũng là cách nhiều benchmark AI hiện nay như MMLU, SWE-bench hay Chatbot Arena hoạt động: không nhìn vào weights hay training pipeline, mà đánh giá mô hình thông qua kết quả đầu ra. Nên nếu hôm nay ChatGPT trả lời khác hôm qua, bọn mình không cố trả lời "vì sao hệ thống thay đổi", mà sẽ đo xem sự thay đổi đó có mang tính ngẫu nhiên / có chọn lọc theo từng model hay là một xu hướng ổn định trên toàn AI ecosystem.

Thedatmno2 đã nói:

Thực ra nếu đã thật sự dùng thuần lý thuyết, thì phen nghĩ sao ko áp dụng các lý thuyết hiện đại, ví dụ tâm lý học hành vi, cái này đang gần như trend của mấy ông ăn nobel kinh tế mấy năm gần đây
Ngoài ra phen nên nghiên cứu thêm các xác suất bayes, để hình dung ra kịch bản, cái kịch bản của phen xác suất sảy ra bao nhiêu %

Mọi kịch bản đều có thể sảy ra nhưng xác suất là bao nhiêu

Nhấp để mở rộng...

Cảm ơn anh, đây cũng là hướng bọn mình đang nghiên cứu khá nhiều. Theo bọn mình, AI Visibility bản chất là một bài toán probabilistic, nên việc chỉ thống kê tần suất mention hay recommendation là chưa đủ. Điều quan trọng hơn là phải mô hình hóa được xác suất AI sẽ thay đổi nhận thức (perception) của một entity khi có thêm bằng chứng mới.
Vì vậy, các hướng như Bayesian inference, uncertainty estimation hay causal reasoning đều rất đáng để áp dụng. Bayesian đặc biệt phù hợp vì AI perception không phải trạng thái cố định, mà liên tục được cập nhật khi xuất hiện thêm evidence (tin tức, citation, authority signals, retrieval...).
SpyderBot hướng tới không chỉ trả lời "AI đang nhìn thương hiệu như thế nào?", mà còn có thể trả lời những câu hỏi có giá trị hơn:

• Nếu thương hiệu A đầu tư thêm PR hoặc Digital Authority thì xác suất AI thay đổi perception là bao nhiêu?
• Một cuộc khủng hoảng truyền thông cần mạnh và kéo dài đến mức nào để vượt qua "brand memory" hiện tại?
• Tín hiệu nào (authority, citation, news, reviews...) đang có trọng số lớn nhất đối với AI?
• Nếu tối ưu GEO theo phương án A hay B thì kịch bản nào có xác suất thành công cao hơn?

Theo bọn mình, đó mới là đích đến của AI Visibility: không chỉ mô tả hiện trạng (descriptive intelligence), mà còn tiến tới dự báo (predictive intelligence) và đề xuất hành động (prescriptive intelligence). Khi đó GEO sẽ không còn là "đo AI nói gì", mà trở thành một hệ thống hỗ trợ ra quyết định dựa trên xác suất và dữ liệu.

JMSpyderBot đã nói:

Cảm ơn anh, đây cũng là hướng bọn mình đang nghiên cứu khá nhiều. Theo bọn mình, AI Visibility bản chất là một bài toán probabilistic, nên việc chỉ thống kê tần suất mention hay recommendation là chưa đủ. Điều quan trọng hơn là phải mô hình hóa được xác suất AI sẽ thay đổi nhận thức (perception) của một entity khi có thêm bằng chứng mới.
Vì vậy, các hướng như Bayesian inference, uncertainty estimation hay causal reasoning đều rất đáng để áp dụng. Bayesian đặc biệt phù hợp vì AI perception không phải trạng thái cố định, mà liên tục được cập nhật khi xuất hiện thêm evidence (tin tức, citation, authority signals, retrieval...).
SpyderBot hướng tới không chỉ trả lời "AI đang nhìn thương hiệu như thế nào?", mà còn có thể trả lời những câu hỏi có giá trị hơn:

• Nếu thương hiệu A đầu tư thêm PR hoặc Digital Authority thì xác suất AI thay đổi perception là bao nhiêu?
• Một cuộc khủng hoảng truyền thông cần mạnh và kéo dài đến mức nào để vượt qua "brand memory" hiện tại?
• Tín hiệu nào (authority, citation, news, reviews...) đang có trọng số lớn nhất đối với AI?
• Nếu tối ưu GEO theo phương án A hay B thì kịch bản nào có xác suất thành công cao hơn?

Theo bọn mình, đó mới là đích đến của AI Visibility: không chỉ mô tả hiện trạng (descriptive intelligence), mà còn tiến tới dự báo (predictive intelligence) và đề xuất hành động (prescriptive intelligence). Khi đó GEO sẽ không còn là "đo AI nói gì", mà trở thành một hệ thống hỗ trợ ra quyết định dựa trên xác suất và dữ liệu.

Nhấp để mở rộng...

Ủng hộ dự án tuy tôi cũng ko đặt quá nhiều niềm tin
Tôi ko đặt niềm tin không phải là ko tin nhóm mà do một điều là các lý thuyết hiện tại ko phù hợp để áp dụng vào vẫn đề này, nguyên nhân là do môi trường này ko có những đặc điểm này

• Một môi trường có đủ tính quy luật để có thể đưa ra dự báo
• Một cơ hội để học hỏi những quy luật này thông qua việc chăm chỉ

Nói chung là muốn đột phá cơ bản nhóm phải tìm ra một lý thuyết khác, không thể áp dụng các lý thuyết hiện tại, do các lý thuyết hiện tại cơ bản đã chứng minh là ko thể áp dụng trong dự đoán mẫu có môi trường ko có quy luật ko có tính lặp đi lặp lại
Các mẫu hiện tại PNJ thực chất Ko phải cùng mẫu môi trường
Tôi nghĩ dự án nên đi theo hướng phải là phòng tránh rủi ro thì có cơ hội hơn
Quên tại sao đi theo hướng đó lại có cơ hội hơn vì thực sự phòng trách rủi ro thật sự cơ bản có lý thuyết thật, chứ ko như cái kia chưa có lý thuyết nào cả, lý thuyết bernoulli về sự thỏa dụng ngoài ra là các lý thuyết xác suất sẽ giúp mọi người phán đoán hay lắng nghe một cách hiệu quả hơn, ví dụ tài sản một người 200 đô với một người 500 đô thì cùng một cơ hội ăn một tài sản xác suất ăn có cơ hội ăn một tài sản 100 đô mà tỉ lệ có 30% mà nếu thất bại mất 80 đô sẽ khác nhau

Thedatmno2 đã nói:

Ủng hộ dự án tuy tôi cũng ko đặt quá nhiều niềm tin
Tôi ko đặt niềm tin không phải là ko tin nhóm mà do một điều là các lý thuyết hiện tại ko phù hợp để áp dụng vào vẫn đề này, nguyên nhân là do môi trường này ko có những đặc điểm này

• Một môi trường có đủ tính quy luật để có thể đưa ra dự báo
• Một cơ hội để học hỏi những quy luật này thông qua việc chăm chỉ

Nói chung là muốn đột phá cơ bản nhóm phải tìm ra một lý thuyết khác, không thể áp dụng các lý thuyết hiện tại, do các lý thuyết hiện tại cơ bản đã chứng minh là ko thể áp dụng trong dự đoán mẫu có môi trường ko có quy luật ko có tính lặp đi lặp lại
Các mẫu hiện tại PNJ thực chất Ko phải cùng mẫu môi trường
Tôi nghĩ dự án nên đi theo hướng phải là phòng tránh rủi ro thì có cơ hội hơn
Quên tại sao đi theo hướng đó lại có cơ hội hơn vì thực sự phòng trách rủi ro thật sự cơ bản có lý thuyết thật, chứ ko như cái kia chưa có lý thuyết nào cả, lý thuyết bernoulli về sự thỏa dụng ngoài ra là các lý thuyết xác suất sẽ giúp mọi người phán đoán hay lắng nghe một cách hiệu quả hơn, ví dụ tài sản một người 200 đô với một người 500 đô thì cùng một cơ hội ăn một tài sản xác suất ăn có cơ hội ăn một tài sản 100 đô mà tỉ lệ có 30% mà nếu thất bại mất 80 đô sẽ khác nhau

Nhấp để mở rộng...

Cảm ơn anh rất nhiều, bọn mình cũng từng tranh luận nội bộ khá nhiều về vấn đề này.
Bọn mình đồng ý với anh ở một điểm quan trọng: AI ecosystem là một môi trường động (non-stationary). Các AI models, retrieval, nguồn dữ liệu và hành vi đều thay đổi theo thời gian, nên gần như không thể xây dựng một mô hình deterministic để dự báo chính xác tương lai.
Vì vậy, bọn mình không cố trả lời: "Nếu làm A thì AI chắc chắn sẽ thay đổi." Mà là: "Nếu làm A thì xác suất AI thay đổi perception hoặc recommendation là bao nhiêu?"
Theo bọn mình, AI Visibility gần với probabilistic modeling hơn là prediction. Điều bọn mình muốn kiểm chứng không phải là "AI có quy luật hay không", mà là: liệu trên tập dữ liệu đủ lớn, qua nhiều AI models, nhiều prompts và trong thời gian đủ dài, có tồn tại những statistical regularities đủ ổn định để mô hình hóa hay không.
Nếu câu trả lời là không, framework của bọn mình cũng phải thay đổi. Nếu là có, thì mới có cơ sở để xây dựng các mô hình đo lường AI Visibility.
SpyderBot cũng không cố suy luận cách AI được train. Trọng tâm của bọn mình là xây dựng các AI Intelligence từ hành vi đầu ra (observable outputs) của nhiều AI systems. Đây cũng là hướng tiếp cận của nhiều benchmark AI như MMLU, SWE-bench hay Chatbot Arena: đánh giá mô hình thông qua đầu ra quan sát được (black-box evaluation) thay vì kiến trúc hay dữ liệu huấn luyện bên trong.
Cuối cùng thì bọn mình nghĩ dữ liệu mới là câu trả lời. Nếu nhiều năm quan sát cho thấy giả thuyết hiện tại không đúng, bọn mình cũng sẽ điều chỉnh framework theo đúng những gì dữ liệu phản ánh.

Tôi chưa biết phần mềm hoành tráng đến đâu nhưng ngay khi vừa đăng ký từ Google Authen để OB trên hệ thống của bạn thì vào đổi mật khẩu đã không được! Điểm trừ quá nặng!

lelong7473 đã nói:

Xem tệp đính kèm 3742585
Tôi chưa biết phần mềm hoành tráng đến đâu nhưng ngay khi vừa đăng ký từ Google Authen để OB trên hệ thống của bạn thì vào đổi mật khẩu đã không được! Điểm trừ quá nặng!

Nhấp để mở rộng...

Cảm ơn anh đã góp ý, đây đúng là chỗ bọn mình cần làm rõ hơn.
Thực ra flow hiện tại của SpyderBot cũng giống khá nhiều ứng dụng khác. Nếu đăng nhập bằng Google Authentication thì tài khoản mặc định chưa có mật khẩu nội bộ để đổi. Ví dụ ChatGPT khi đăng nhập bằng Google cũng không có chức năng đổi mật khẩu ngay.
Trường hợp này, anh chỉ cần bấm "Quên mật khẩu" để tạo mật khẩu cho tài khoản trước, sau đó mới có thể sử dụng chức năng Đổi mật khẩu như bình thường.
Tuy nhiên, bọn mình đồng ý là hiện tại giao diện chưa hướng dẫn đủ rõ nên rất dễ gây hiểu nhầm là tính năng bị lỗi. Bọn mình sẽ bổ sung ghi chú hoặc tự động hướng dẫn đối với các tài khoản đăng nhập bằng Google trong bản cập nhật sắp tới để trải nghiệm tốt hơn.
Cảm ơn anh đã report rất nhiều.