[Dịch] AI Trung Quốc bị tố “chuyển hướng” hội thoại sang Claude để luyện mô hình: Dữ liệu nhạy cảm, thậm chí bí mật quốc phòng, có nguy cơ bị lộ

khelo · Chủ Nhật lúc 00:18

max20091 đã nói:
Deepseek V4 Flash thì kèo thơm quá chứ K3 kia nó đòi ~600GB RAM lận.

Đợt có test con 3050 4GB cỏ với 3060 với model ~26B A3B của Google thì tối thiểu để chạy tốc độ chấp nhận được ~2GB VRAM thôi, còn lại nhét vào RAM chạy. Cũng 26B mà dense thì ko chơi nổi.

Deepseek V4 flash thì kể của quant 1bit thì cũng cần min 60GB vram để chạy, chưa kể activation, runtime, buffer..

Còn context hay codebase thì nó ở KV cache có nằm chung model weight đ' đâu. :feel_good:

Mấy thằng kia chỉ cần thấy Tàu là lao vào def bất chấp rồi chửi đổng, công kích cá nhân chứ có biết cái moẹ gì đâu, tuởng thế nào. :baffle:

max20091 · Chủ Nhật lúc 00:27

khelo đã nói:
Deepseek V4 flash thì kể của quant 1bit thì cũng cần min 60GB vram để chạy.

Còn context hay codebase thì nó ở KV cache có nằm chung model weight đ' đâu.

60GB kia là để max speed chứ ko phải là min chạy được fen.
Đang tải DS V4 Flash về test thử, có gì xin nhẹ 100k uống cafe :smile:

Mình ko def tàu gì cả nên mọi người đừng thả gạch nhá.

khelo · Chủ Nhật lúc 00:33

max20091 đã nói:
60GB kia là để max speed chứ ko phải là min chạy được fen.
Đang tải DS V4 Flash về test thử, có gì xin nhẹ 100k uống cafe

Mình ko def tàu gì cả nên mọi người đừng thả gạch nhá.

persadian/DeepSeek-V4-Flash-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

1 bit quant thì minium requirement cũng cần 60GB VRAM rồi vì 284B params. K offload system ram thì k bao h fit đuợc.

Mà 1 bit quant thì còn gì gọi là model nữa là thứ què quặt khuyết tật rồi

forcefx4 · Chủ Nhật lúc 00:38

Con 5090 làm sao chạy con kimi k3 dc, kể cả q1 , mấy bố toàn kèo ma quỷ gì vậy, tới hạn là đám qwen 3.8 là hết r, tôi chạy local AI ở nhà đây

max20091 · Chủ Nhật lúc 00:40

forcefx4 đã nói:
Con 5090 làm sao chạy con kimi k4 dc, kể cả q1 , mấy bố toàn kèo ma quỷ gì vậy, tới hạn là đám qwen 3.8 là hết r, tôi chạy local AI ở nhà đây

Bố kia nổ lớn quá chứ kèo Deepseek V4 Flash thấy khá ok.
Con V4 Flash kia nó có 13B activated thì tống 13B đấy vào VRAM là khoẻ.

Qwen 3.8 nó 27B dense phải tống hết 27B mới chạy được chứ ko nó què quặt ko xài được.

khelo · Chủ Nhật lúc 00:45

A ấy đòi fit tất vào con 5090 mà. Có đề cập gì tới dense hay attention layer đâu :shame:

Thế thì đưa đúng con 5090 32GB cho fit vào hết thôi, ngưòi ta khẳng định chắc nịch còn chê ng khác dev quèn mà :feel_good:

forcefx4 · Chủ Nhật lúc 00:47

max20091 đã nói:
Bố kia nổ lớn quá chứ kèo Deepseek V4 Flash thấy khá ok.
Con V4 Flash kia nó có 13B activated thì tống 13B đấy vào VRAM là khoẻ.

Qwen 3.8 nó 27B dense phải tống hết 27B mới chạy được chứ ko nó què quặt ko xài được.

đang kiếm cái DS v4 flash mà kok thấy cái nào note là có 13B activated cả

max20091 · Chủ Nhật lúc 00:49

forcefx4 đã nói:
đang kiếm cái DS v4 flash mà kok thấy cái nào note là có 13B activated cả

Nguồn: deepseek-ai/DeepSeek-V4-Flash · Hugging Face (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash)

forcefx4 · Chủ Nhật lúc 00:52

có v4.1 flash, ~100GB, cái này là load hết lên mem thôi chứ có phải MoE đâu, nếu GPU hết mem thì RAM nó gánh cho, nhưng mà lúc này speed giảm thê thảm lun

Tàu Bảy Pảy · Chủ Nhật lúc 00:55

Lại chuẩn bị các cháu DS, Kimi... sài xịn gần bằng 90% claude, giờ bể ra là gửi lên claude lấy kết quả về sài cho các cháu

nhưng mà với quan điểm người dùng, rẻ mà ngon thế lại chả sài

max20091 · Chủ Nhật lúc 00:57

forcefx4 đã nói:
có v4.1 flash, ~100GB, cái này là load hết lên mem thôi chứ có phải MoE đâu, nếu GPU hết mem thì RAM nó gánh cho, nhưng mà lúc này speed giảm thê thảm lun

4.1 flash là model hoàn toàn khác, size khác luôn.
Speed nó giảm nhưng ko đến nỗi đơ luôn máy như mấy con dense. Ko rõ con V4 flash như nào chứ test con Qwen MoE 26B gì đấy ra được ~5-10t/s.

Nguồn: deepseek-ai/DeepSeek-V4.1-Flash · Hugging Face (https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)

SpaceXAI · Chủ Nhật lúc 00:59

Mượn tay nhà khác huấn luyện hộ rồi tinh chỉnh lại, bài này xưa như trái đất rồi mà cứ lên báo là lại khối ông giật mình :canny:

forcefx4 · Chủ Nhật lúc 01:00

max20091 đã nói:
Xem tệp đính kèm 3794210

Nguồn: deepseek-ai/DeepSeek-V4-Flash · Hugging Face (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash)

nó ghi có MoE mà lấy về sao kok thấy nhỉ ?

trên llm studio cũng kok suggest model từ chính deepseek v4, mà toàn là model v4 flash dc cook lại, tương tự như cái v4.1 cũng toàn là cook lại, còn hàng chính chủ kok kiếm ra nên kok biết có vấn đề gì từ nó k

khelo · Chủ Nhật lúc 01:02

max20091 đã nói:
4.1 flash là model hoàn toàn khác, size khác luôn.
Speed nó giảm nhưng ko đến nỗi đơ luôn máy như mấy con dense. Ko rõ con V4 flash như nào chứ test con Qwen MoE 26B gì đấy ra được ~5-10t/s.
Xem tệp đính kèm 3794214

Nguồn: deepseek-ai/DeepSeek-V4.1-Flash · Hugging Face (https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)

nhưng nó k fit vào 32GB VRAM.
Nhét 13B active params kia vào thì vẫn cần offload backbone 284B params.
K offload sang system ram thì k có cái mùa xuân chạy đuợc với 1 con 5090. Kèo thơm thế mà lại sủi rồi. :sexy_girl:

Uổng công mấy page đầu def hăng hái, mở miệng ra là chửi đổng đuợc liền cổ lâu chủ nào tớ nấy :baffle:

(k noi' fen)

forcefx4 · Chủ Nhật lúc 01:08

khelo đã nói:
nhưng nó k fit vào 32GB VRAM.
Nhét 13B active params kia vào thì vẫn cần offload backbone 284B params.
K offload sang system ram thì k có cái mùa xuân chạy đuợc với 1 con 5090. Kèo thơm thế mà lại sủi rồi.

Uổng công mấy page đầu def hăng hái, mở miệng ra là chửi đổng đuợc liền cổ lâu chủ nào tớ nấy

thì nó kok fit vào r,

đang thử cài cái deepseek v4.1 mà kok thấy bản unsensor cũng hơi chán, bản v4 thì có, lấy về cho 2 thằng qwen3.8 với deepseek chat sex với nhau
:sexy_girl:

max20091 · Chủ Nhật lúc 01:08

forcefx4 đã nói:
nó ghi có MoE mà lấy về sao kok thấy nhỉ ?

trên llm studio cũng kok suggest model từ chính deepseek v4, mà toàn là model v4 flash dc cook lại, tương tự như cái v4.1 cũng toàn là cook lại, còn hàng chính chủ kok kiếm ra nên kok biết có vấn đề gì từ nó k

Cái model fen tải về đã cook là hàng cook Pro.
Còn thêm QAT là cook Pro Max, cơ mà chỉ có Google nó rảnh tài nguyên mới có con QAT đấy chứ Deepseek server chả có kiếm đâu ra QAT.

Hàng chính chủ bình thường nặng quá ai mà mang chạy local fen, tụi nó để hàng chính chủ đấy để ai thích bê về cook thì bê, còn ko thì thuê server ngoài chạy.
Thường mấy con parameter bự mấy trăm B cook nó thành Q1 nó vẫn ăn đứt mấy con bé ~30B Q4 Q8 gì đấy.

forcefx4 · Chủ Nhật lúc 01:11

max20091 đã nói:
Cái model fen tải về đã cook là hàng cook Pro.
Còn thêm QAT là cook Pro Max.

Hàng chính chủ bình thường nặng quá ai mà mang chạy local fen, tụi nó để hàng chính chủ đấy để ai thích bê về cook thì bê, còn ko thì thuê server ngoài chạy.
Thường mấy con parameter bự mấy trăm B cook nó thành Q1 nó vẫn ăn đứt mấy con bé ~30B Q4 Q8 gì đấy.

con v4.1 mới ra dc mấy tiếng nên chưa có ai cook ra bản uncensor, mấy cái localAI chủ yếu là phải xài uncensor nó mới sướng rơn người chứ
:shame:

max20091 · Chủ Nhật lúc 01:20

Hơi hài ẻ nhưng test con V4 Flash nó chạy cũng được. Cũng cái này thời V3 nó ko chạy nổi luôn.

khelo · Chủ Nhật lúc 01:37

max20091 đã nói:
Hơi hài ẻ nhưng test con V4 Flash nó chạy cũng được. Cũng cái này thời V3 nó ko chạy nổi luôn.
Xem tệp đính kèm 3794237

Xem tệp đính kèm 3794239

model size 81Gb, này offload tới tận ssd à fen? :shame:

max20091 · Chủ Nhật lúc 01:38

khelo đã nói:
model size 81Gb, này offload tới tận ssd à fen?

Đúng rồi fen, lap RAM có 64GB à.

[Dịch] AI Trung Quốc bị tố “chuyển hướng” hội thoại sang Claude để luyện mô hình: Dữ liệu nhạy cảm, thậm chí bí mật quốc phòng, có nguy cơ bị lộ

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Tệp đính kèm

Senior Member

Senior Member

Tệp đính kèm

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này