Việc xử lý AI hiện tại đang có 2 giới hạn nan giải cho các thiết bị di động (và về mặt client nói chung)
1 là model rất rất nặng, 1 cái model "bình thường" đã có thể lên tới hàng chục, thậm chí hàng GB. Mấy con càng siêu thì càng nặng, trong khi bộ nhớ của client là giới hạn, méo scale được như bọn server.
2 là việc xử lý data cũng yêu cầu con chip cực mạnh, nhiều khi là ko phải cpu mà là gpu, ngay cả với gpu cũng phải tốn kha khá thời gian mà các thiết bị di động cũng thường ko được trang bị gpu xịn nữa. Điều này gây trải nghiệm cực tệ cho máy client: bao gồm chậm, nóng, làm việc khác bị giật lag, và méo ai muốn thấy con máy cá nhân của mình cũng nào cũng full load cả.
Thế nên việc xử lý local là chuyện gần như bất khả thi.
Bác nói thế là chưa đúng, bác có thể tải MLStudio về xong download model của một số cái về rồi tắt mạng đi để trải nghiệm.
Model của nó cũng chỉ có vài GB thôi (cỡ từ 2 - 5 6Gb thôi), tất nhiên nó ở dạng small nhưng mà như thế cũng đã rất đầy đủ để chạy trên thiết bị mà không cần tới server rồi. Những thứ đơn giản như gen ảnh, sửa ảnh, tóm tắt văn bản, dịch, viết văn, sinh chữ, tách nhạc và lời ,... nó đều có thể chạy ở local
.
Còn mấy cái toàn vải tỷ tham số thì đúng thật là nó cần sức mạnh từ phía máy chủ lớn. Nhưng nó sẽ xử lý rất nhiều thứ phức tạp như kiểu yêu cầu tạo video chẳng hạn
Cái hay mà bản thân Apple hoặc bản thân Pixel nó làm được là nó ở cấp độ HDH, tức là tất cả các app khác đều có thể ứng dụng được và tính xuyên suốt. Apple nó còn hơn Pixel chỉ ở mỗi 1 điểm là nó cho phép tích hợp thêm nhiều model của các hãng khác vào
(Apple nó confirm là đang tính chuyện đem thêm Gemini hoặc một số mô hình khác vào để user có quyền switch giữa chatGpt và Gemini hoặc các model khác). Còn lại thì nó méo có gì hơn hàng của GG cả
Không như bọn SS hay các hãng android, phải luôn cập nhật theo 1 thằng và khi triển khai phải confirm với thằng kia trước rồi mới được dùng, hơn nữa nó cũng éo có cấp API cho dev để dev không cần phải ngồi tạo model in app nữa
Với cái này thì bọn Apple nó đã làm từ mấy năm rồi, bản thân mình cũng đang sử dụng một số model free của Apple trên app của mình.
Cái này thì chỉ bên dev mới biết chứ user thì chả thằng nào nó quan tâm tới cái này, nó chỉ quan tâm tới cái nó sử dụng thôi.