Assistant cũng ko ăn thua, để dịch local ngon với đủ nhanh thì cũng cần card nvidia xịn, cũng mấy chục củ, tính ra chi phí ko rẻ hơn cloud dc, mình đã từng build local rồi mình biết, tính toán kĩ thì mua cloud của tq xài tẹt ga, rẻ chán, cộng thêm mây con free của google nữa thì local ko bao giờ ăn dc
(Trung Quốc) Token AI giá rẻ của Trung Quốc: Lợi thế cạnh tranh mới trong cuộc đua AI tại châu Á
- Người tạo chủ đề ChatGPT AI
- Ngày bắt đầu
Husqvarna701SM
Senior Member
Giờ cần mấy anh tàu làm con agent vip pro hơn claude cowork/claude code cơ. Chứ model dần dần sẽ bị bão hòa thôi.
jumper
Senior Member
5070 giờ chạy vô tư rồi
Blackwell chạy nén của nvidia vô tư
Chạy gemini tts vài tiếng đã hết cả trăm k rồi
Chạy 1 ngày là móm lun
Hoặc chạy ocr minerU (document -> md)tài liệu cũng hao lắm
danglinh3009
Senior Member
Sao nó làm được giá rẻ như vậy ?
plhoangan
Member
Cho mình hỏi 5070 16GB vs 3090 24GB thì TTS con nào hơn nhỉ?
plhoangan
Member
Tụi tư bản bị chửi cũng không oan, iPhone mới mua mạnh bao nhiêu sau khoảng vài lần update iOS là chậm dần.
Macbook cũng vậy, con Macbook Air M1 ngày xưa chạy xé gió, lên MacOS 26 hiệu ứng Liquid Glass tào lao gì đó bị lag, vãi thật.
plhoangan
Member
Thím dùng Local LLM? Trên device gì? Macbook Air M2 24GB ok không nhỉ?
plhoangan
Member
Mình cũng không rõ nhưng bây giờ những con Mac M chạy được local LLM đang hot quá chừng, kiếm con cũ ram cao mua càng khó. Cái thời đại quái quỉ thật.
Monster in Paris
Senior Member
Ko my fen. Tôi chạy trên con laptop ghẻ mua nhiều năm trước. Mua API thôi. Sau khi dùng thử thì cái model đó là ít tốn tiền nhất.
Chắc mấy con m4 mini chạy openclaw, tụi này nó chạy AI cloud chứ local gì, còn con m5 max 64 gb ram chạy cũng chỉ dx khoảng 30, 40 token/s, chạy thì 100% cpu nó hú kinh vl
jerryno6
Member
Opensource Model càng ngày càng nhiều tham số. Năm nay opensource model đuổi kịp frontier thì frontier lại ra model mới mạnh hơn, khiên local model lại bị tụt hậu và nhiều tham số thi lại đòi phần cứng dữ hơn. Các hãng đang đua nhau về tham số chứ chưa thấy cuộc đua giảm tham số và giảm chi phí tính toán. Nếu giảm chi phí tính toán một, nhưng model mới lại đòi token tăng 2 thì cũng k ổn. Hiện tại opensource model chạy được trên các máy phải khá mạnh mới ổn nhưng xu hướng tăng tham số thì tiền ram, gpu lại tăng lên, người dùng cá nhân sẽ khó có đủ khả năng chạy đua local model.
Chưa biết tình hình tương lai thế nào thôi cứ tạm dùng cloud model kết hợp với opensource để giảm chi phí thôi
Chưa biết tình hình tương lai thế nào thôi cứ tạm dùng cloud model kết hợp với opensource để giảm chi phí thôi
nick thứ bao nhiêu rồi
Senior Member
Bán token lỗ câu nhiều khách để tìm nhà đầu tư xong bán lại công ty thu tiền mặt như Cursor với giá 60 tỷ USD hoặc đợi IPO như Claude, OpenAI.Sao nó làm được giá rẻ như vậy ?
hieuthao
Senior Member
Husqvarna701SM
Senior Member
Bây giờ cố tối ưu ở tầng service/agent chứ model khó tối ưu lắm. Đội nghiên cứu cũng đang rẽ thử hướng khác rồi
Husqvarna701SM
Senior Member
Bây giờ cố tối ưu ở tầng service/agent chứ model khó tối ưu lắm. Đội nghiên cứu cũng đang rẽ thử hướng khác rồi
jumper
Senior Member
5070 có 12GB thôibro thật sự hỏi câu này luôn
giống xe đạp vs. xe máy cái nào chạy nhanh hơn ấy
nhưng nếu chạy model nhỏ thì nó chạy nhanh hơn 3090,
chưa kể kiến trúc mới chạy được nén NVFP4
nhưng model lớn thì ko đủ VRAM
hieuthao
Senior Member
nhưng đã vram to thì chả tội gì test model nhỏ cả
llm thì vram là quan trọng nhất rồiđợt rồi hốt cú chót con mimi m4 16gb 12tr5 định chạy local mấy model nhỏ, mà nó ngốn mớ ram lag hết máy chả ăn thua. đợi dư giả tí mua vga ram to cắm homelab chơi chứ máy làm việc ko chơi dc
jumper
Senior Member
Đâu phải cái j cũng nhét llm đâunhưng đã vram to thì chả tội gì test model nhỏ cả
đợt rồi hốt cú chót con mimi m4 16gb 12tr5 định chạy local mấy model nhỏ, mà nó ngốn mớ ram lag hết máy chả ăn thua. đợi dư giả tí mua vga ram to cắm homelab chơi chứ máy làm việc ko chơi dc
SLM cho từng nhu cầu đặc thù
Hoặc chạy nén cho các tác vụ ko cần suy luận hoặc độ chính xác cao
Chủ đề tương tự
