SSD cho trung tâm dữ liệu chiếm 48% nguồn cung bộ nhớ toàn cầu

  • Người tạo chủ đề Người tạo chủ đề Thọ Gầy 4.0
  • Ngày bắt đầu Ngày bắt đầu
HBM-like speeds.
:tire::tire:
Thôi tùy, cãi hao hơi, thằng ng* nào thích mua thì cứ mua.

Nếu bạn thay thế HBM bằng HBF, (có lẽ) hiệu năng sẽ không tốt và nó sẽ nhanh hỏng, khiến chiếc GPU trị giá hơn 50.000 đô la của bạn trở thành một cục sắt vô dụng — điều này không lý tưởng cho một sản phẩm cần hoạt động lâu dài để phù hợp với lịch khấu hao của các nhà cung cấp dịch vụ điện toán đám mây quy mô lớn.
 
ssd là thứ suy giảm tuổi thọ theo thời gian sử dụng nên không ai đi hàn vào gpu cả
thứ 1, ssd này chỉ đọc chứ ít khi ghi xóa
thứ 2, AI hiện nay bị giới hạn rất nhiều bởi bộ nhớ chứ ko phải sức mạnh tính toán. Giả sử cái ssd này có thể nâng bộ nhớ gấp 10 lần giới hạn vRAM hiện tại trong khi giá chỉ bằng nửa thì ko thiếu cty AI sẽ mua về chạy infer. Chi phí khấu hao, rã hàn thay thế ssd chả là gì so với việc giành vị thế dẫn đầu trong ngành này.
 
Thôi tùy, cãi hao hơi, thằng ng* nào thích mua thì cứ mua.
Mình đọc bài thấy bài nói có lí mà, lưu mô hình 1 lần và đọc nhiều lần "The second, called decode, reads the entirety of the model's weights, or in the case of a mixture of experts (MoE) models, their active parameters, from memory over and over again for each token generated. Because of this, how quickly an AI system can churn out tokens is directly proportional to how fast its memory is."
"
But the decode phase is almost entirely read, which makes HBF an ideal medium for storing model weights as write endurance really isn’t a factor.

It becomes a sort of write-once, read-many scenario, which is perfect for NAND flash since reads are essentially free"
 
vừa nhập Colorful RTX5060 TI 16GB mà gần 17tr, các bên lướt sóng toàn 18.x. bán lẻ thì suýt chạm đầu 2
UKiCiKh.png
Vãi đạn, hồi nào còn thấy sale 13 14 tr 🥲
 
Xem bên cnttshop đăng ráp máy server cho khác toàn 512gb ram, vài ổ tính bằng TB, 4-6 con card. Bảo sao khách lẻ bị ra rìa ;b

Gửi từ Xiaomi 2211133G bằng VOZVNApp
 
AI càng mạnh thì nó lại càng tạo ra nhiều dữ liệu. Càng ngày càng thiếu nên ai cần thì mua luôn đi. Chứ sắp sửa có mô hình AI riêng cho đám làm hiệu ứng hoạt hình rồi, sau nàu xem phim hoạt hình cả ngày không hết.
 

Thống kê chủ đề

Ngày tạo
Thọ Gầy 4.0,
Người trả lời cuối
anh_beta_v4,
Trả lời
37
Lượt xem
3.105
Quay lại
Lên đầu trang