thắc mắc Các bước setup mini AI Servers tại nhà

_noat_ · 15/8/24

Chào các bác,
Mục đích: remote code, training AI, (nếu mở được API ra internet và đảm bảo an toàn càng tốt)
Hiện tại, pc của em cài ubuntu 20.04, dùng github tunnel thông qua VScode để code từ laptop.
Với nhu cầu của em thì đã đủ, tuy nhiên khi có khoảng 3-4 connection vào được khoảng vài tiếng thì nó bị đứng, (anydesk cũng không remote vào được), reboot thì xài ok.

Em đang dự tính cài Ubuntu server và setup ssh nhưng máy em đang là IP động.
Các bác cho em hỏi các bước để setup để có thể ssh và đảm bảo an toàn là ntn. (VPN, cấu hình IP, port...)
Làm sao để tránh tối đa rủi ro bị hack vì dữ liệu trên máy khá quan trọng.
Em ở trọ và internet tự bắt.

chacuavip10 · 15/8/24

VPN thì dùng tailscale/zerotier là xong, khỏi phải setup nhiều, ko lo ip động hay cgnat

_noat_ · 15/8/24

chacuavip10 đã nói:
VPN thì dùng tailscale/zerotier là xong, khỏi phải setup nhiều, ko lo ip động hay cgnat

VPN này cần thêm máy tính khác được không nhỉ, hay cài trên con server được luôn bác.

chacuavip10 · 15/8/24

Cài trên server + cài trên client là thông nhau.

_noat_ · 15/8/24

chacuavip10 đã nói:
Cài trên server + cài trên client là thông nhau.

cảm ơn bác nhé.
Như này cài trên ubuntu bản thưởng được không hay bắt buộc phải Server vậy

son1xx2 · 15/8/24

_noat_ đã nói:
cảm ơn bác nhé.
Như này cài trên ubuntu bản thưởng được không hay bắt buộc phải Server vậy

bản nào cũng được mà, nhưng bác phải giải quyết vấn đề 3 4 connect vào thì bị đứng đã

_noat_ · 15/8/24

son1xx2 đã nói:
bản nào cũng được mà, nhưng bác phải giải quyết vấn đề 3 4 connect vào thì bị đứng đã

hiện mình bị đứng nghi là do tunnel của vscode bác.
vì về nhà check thấy vscode đứng.
còn nếu ssh không thông qua vscode nữa thì xài ngon lành

Đối Tượng Kim Sang Sik · 19/8/24

Có bác nào am hiểu về server AI và có thông số tối ưu không nhỉ.
Ví dụ giờ muốn dựng 1 em train nhạc nhẽo thì cấu hình vừa đẹp sẽ như thế nào ạ.

_noat_ · 19/8/24

Đối Tượng Kim Sang Sik đã nói:
Có bác nào am hiểu về server AI và có thông số tối ưu không nhỉ.
Ví dụ giờ muốn dựng 1 em train nhạc nhẽo thì cấu hình vừa đẹp sẽ như thế nào ạ.

Để tính toán bác xem các bước:

Input output của bác cần gì, từ đó tham khảo một số mô hình thông dụng.
Dựa trên mô hình -> xem có bao nhiêu params -> ước lượng VRAM cần thiết.
Dựa trên VRAM chọn card

1 vài options khá là p/p cho AI: 3060 12GB, 4060Ti 16GB, 4070/s 12GB, 4070 ti sup 16GB, 3090 24GB, 4090 24GB.
Dựa trên ngân sách và nhu cầu lựa chọn card phù hợp.
Về RAM: D4 là đủ rồi và nó kinh tế. Tối thiểu nên 16x2 sau này còn lên được 64. Có đk thì táng 32x2 trước.
Chip ko cần quá khỏe vì nó chủ yếu preproces data thôi.
HDD khoảng 2TB chứa data, ssd 500GB để cài win + model (nếu lớn cỡ vài GB load cho nhanh)
Nguồn và main khá là quan trọng vì chạy liên tục.

Tầm 16 củ thì sẽ có 12400f/non f + 3060 12GB
25 có 12400f/non f + 4060ti 16GB
cứ như vậy lên thôi.

Mình đang hài lòng với 13500 + 3090 24GB, 32GB RAM định lên 64. (tổng khoảng 40củ)

Đối Tượng Kim Sang Sik · 19/8/24

_noat_ đã nói:
Để tính toán bác xem các bước:

Input output của bác cần gì, từ đó tham khảo một số mô hình thông dụng.

Dựa trên mô hình -> xem có bao nhiêu params -> ước lượng VRAM cần thiết.

Dựa trên VRAM chọn card

1 vài options khá là p/p cho AI: 3060 12GB, 4060Ti 16GB, 4070/s 12GB, 4070 ti sup 16GB, 3090 24GB, 4090 24GB.
Dựa trên ngân sách và nhu cầu lựa chọn card phù hợp.
Về RAM: D4 là đủ rồi và nó kinh tế. Tối thiểu nên 16x2 sau này còn lên được 64. Có đk thì táng 32x2 trước.
Chip ko cần quá khỏe vì nó chủ yếu preproces data thôi.
HDD khoảng 2TB chứa data, ssd 500GB để cài win + model (nếu lớn cỡ vài GB load cho nhanh)
Nguồn và main khá là quan trọng vì chạy liên tục.

Tầm 16 củ thì sẽ có 12400f/non f + 3060 12GB
25 có 12400f/non f + 4060ti 16GB
cứ như vậy lên thôi.

Mình đang hài lòng với 13500 + 3090 24GB, 32GB RAM định lên 64. (tổng khoảng 40củ)

Bro cho hỏi nốt,
Nếu xài cấu hình như bác khuyến nghị, thì về mặt gen product ở đầu client,
tốc độ xuất có đủ nhanh không?
Chẳng hạn gen 1 clip 1 phút mix audio 1 phút?

Armbian.io.vn · 19/8/24

train cái này tốn resource phết

_noat_ · 19/8/24

Đối Tượng Kim Sang Sik đã nói:
Bro cho hỏi nốt,
Nếu xài cấu hình như bác khuyến nghị, thì về mặt gen product ở đầu client,
tốc độ xuất có đủ nhanh không?
Chẳng hạn gen 1 clip 1 phút mix audio 1 phút?

Nếu gen clip thường nặng đấy, này còn tùy thuộc vào model của thím dùng nữa.
Hôm mình chạy cái sad talker mà tốc độ x0.1

Đối Tượng Kim Sang Sik · 19/8/24

_noat_ đã nói:
Nếu gen clip thường nặng đấy, này còn tùy thuộc vào model của thím dùng nữa.
Hôm mình chạy cái sad talker mà tốc độ x0.1

Nghe to tát chứ làm rồi cho ae test là chỉnh (số lượng người sử dụng nhỏ). Dự án mà ngon thì mới xin được tiền sắm đồ tốt.

Thanks thông tin bro cung cấp.

_noat_ · 19/8/24

Đối Tượng Kim Sang Sik đã nói:
Nghe to tát chứ làm rồi cho ae test là chỉnh (số lượng người sử dụng nhỏ). Dự án mà ngon thì mới xin được tiền sắm đồ tốt.

Thanks thông tin bro cung cấp.

Này mình không rõ thím làm như nào nên ko đưa ra khuyến nghị được. Tốt nhất thím search như này: vram for training <teen model> thì nó ra kq khá chính xác.
còn muốn chạy ko train thì đổi thành inferrence.
Hôm tự chạy máy nhà demo mấy bài toán nên cũng vừa xin được server.

Đức Nguyên · 21/8/24

bên em thì đang dùng teleport để quản lý các việc add các node, tạo user, cấu hình role truy cập, xem log cũng như xem lại recording của những user tương tác với server rồi tắt luôn ssh cho lành. Bác cần an toàn với quản lý, theo dõi để đấm khi ai đó làm bậy bạ với data thì tham khảo thử xem

_noat_ · 21/8/24

Đức Nguyên đã nói:
bên em thì đang dùng teleport để quản lý các việc add các node, tạo user, cấu hình role truy cập, xem log cũng như xem lại recording của những user tương tác với server rồi tắt luôn ssh cho lành. Bác cần an toàn với quản lý, theo dõi để đấm khi ai đó làm bậy bạ với data thì tham khảo thử xem

cảm ơn bác, để em note lại nghiên cứu.
Mục đích của e chỉ làm web để demo sản phẩm ấy bác. Chứ ko xài gì nhiều quá.

Đức Nguyên · 21/8/24

_noat_ đã nói:
cảm ơn bác, để em note lại nghiên cứu.
Mục đích của e chỉ làm web để demo sản phẩm ấy bác. Chứ ko xài gì nhiều quá.

nếu chỉ làm web demo thì bác phang thằng zero trust cũng nhanh, run mỗi 1 lệnh docker thằng cloudflare gen ra là ổn, cơ mà phải mua tên miền rồi trỏ về cloudflare quản lý (trước e mua loại tên miền xà lơ có tầm 50k 1 năm, hết hạn thì huỷ)

akasagi1 · 27/4/25

Mấy bác tạo server train AI kết quả thế nào ạ? Không biết các bác chia sẻ chút kinh nghiệm được không?

akasagi1 · 27/4/25

_noat_ đã nói:
cảm ơn bác, để em note lại nghiên cứu.
Mục đích của e chỉ làm web để demo sản phẩm ấy bác. Chứ ko xài gì nhiều quá.

Kết quả bác xây được chưa ạ?

thắc mắc Các bước setup mini AI Servers tại nhà

Senior Member

Đã tốn tiền

Senior Member

Đã tốn tiền

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này