kiến thức Tổng hợp hướng dẫn setup Homelab - Virtualization/Router/Switch/Nas

[langtubac248]

Hi all, sau một thời gian mày mò về Nas, nay máu lại dồn lên tới não nên giải tán em nas phake và đầu tư vào em Homelab chạy server ảo hóa AIO chạy Router/Switch chạy Lan 10Gbps, Nas xpenlogy và một số dịch vụ khác sau này

- Nhu cầu:

• Hạ tầng mạng LAN nâng cấp từ 2.5Gbps lên 10Gbps
• Phải có ít nhất 4 LAN 1Gbps để chạy load balancing 2 WAN 300Mbps đang dùng
• Muốn chạy ESXI vì các OS ảo hóa mình đánh giá không đầy đủ mọi thứ bằng ESXI tuy nhiên muốn xài ESXI thì phải cần card Raid
• Cấu hình tương đối ổn ít nhất là mạnh hơn em i7 4765T cũ của mình
• Giá rẻ nhất có thể và không dùng switch 10Gbps (vì nó mắc vl)
• Tiết kiệm điện

- Lên kế hoạch:

• Để bỏ qua switch 10Gbps thì em server Homelab sẽ phải đóng vai trò là router kèm switch -> mấy em chạy Router Os như Pfsense làm được điều này -> Chốt mua card LAN 10Gbps cho 2 đầu PC và Server là đủ
• Cấu hình Server Homelab vì muốn mạnh hơn em 4765T cũ thì CPU phải mới hơn nhưng ít nhất phải gen 8 trở đi thì mới mạnh hơn hẳn con i7 cũ tuy nhiên cũng phải tiết kiệm điện nên tìm em i7 8700T tuy nhiên em CPU này ở VN quá hiếm và mắc hơn cả 8700 nên sau khi cân nhắc thì quyết định dùng cách mod BIOS để chạy CPU laptop để vừa đạt tiêu chí vừa mạnh vừa tiết kiệm điện -> chọn em i7 8750H bản retail không dùng bản ES (giá = 1/2 i7 8700T)
• Dự tính muốn chạy ESXI ít nhất 6.7 tuy nhiên vẫn muốn trải nghiệm ESXI cao hơn nên quyết định chọn em Dell PERC H710P vì nó support tới ESXI ver 8.0
• Mainboard do xài CPU laptop nên mainboard phải là main Z170 Z270 Z370, dùng main Z để lấy nhiều lane PCIE hơn, đặc biệt cần ít nhất 2 lane PCIE x16 mode x8 trở lên (1 cho card LAN, 1 cho card Raid) và 1 khe PCIE x1 để cắm dual LAN 1Gbps chạy router

- Thực tế mua:

• Card LAN 10Gbps: chọn em X540-T2 của HP vì nó rẻ nhất

• CPU i7 8750H kèm 16Gb DDR4 -> đang gắn i7 8700 và DDR4 32Gb để test cho máu

• Mainboard: sau khi tham khảo hàng loạt mã và hàng loạt hãng quyết định chọn Asrock Z370 Gaming K6 vì nó đúng nhu cầu Homelab của mình vãi, main này có dual Lan Intel Gigabit, 8 port SATA (2 SATA chạy chipset AS1062 hỗ trợ xpenlogy luôn ), 3 khe PCIE x16 chạy x8/x8/x4 và 3 khe PCIE x1

• Card LAN 1Gbps: săn được em Broadcom 5720 chạy khe PCIE x1 vì thấy nhiều người đánh giá Broadcom ngon hơn Intel

• Card Raid: Dell PERC H710P lúc đầu phân vân giữa H710 nhưng mình muốn IOPs cao nên chọn con có 1Gb cache

• Vì có 4 SSD và thích dùng rack nên mua thêm cái Box HDD/SSD 4 port SATA để hotswap và cắm vào cổng DVD của case

Thành phẩm

Chi tiết phần cứng

Phần cứng tạm thời đã xong, chi phí đầu tư tất cả chưa đến 5tr, phần mềm thì khi nào rảnh mình sẽ update thêm ở bài viết dưới, demo trước vài tấm copy/write vào nas

 

[langtubac248]

Mình tiếp tục viết tiếp về Router + Switch
Nhu cầu: Load balancing 2 mạng WAN, sử dụng 2 Port Lan 10Gbps và 2 Port Lan Broadcom 1Gbps làm switch, 2 port LAN intel sẽ chạy WAN
Lý thuyết có 2 cách:

• Cách 1: Tạo switch và port group ảo sau đó add vào máy ảo để dùng, có thể tận dụng 1 cái switch thật 4 port 1Gbps để cắm 2 đường WAN vào để đỡ tốn cổng LAN (tức là cắm 2 WAN chung 1 LAN)
• Cách 2: Passthrough trực tiếp card LAN vào pfsense và sử dụng như 1 router thật

=> Chốt chọn cách 1 vì khi passthrough vào pfsense cái card mạng, không hiểu sao máy thật sử dụng bị cà dựt, mình đoán do điện áp từ cổng LAN pfsense quản lý ko tốt lắm, bơm điện hơi mạnh vào PC
- Thực hiện theo cách số 1:

• Đầu tiên mình tạo 3 switch ảo trên esxi (2 WAN, 1 LAN cho đường 1Gbps, đường 10Gbps sẽ là switch mặc định vSwitch0 nên không cần tạo, mục đích cũng dùng line này để làm port Management luôn), tương ứng với mỗi switch mình sẽ cho 1 up link là 1 đường LAN thật

• Sau khi tạo switch ảo, tiếp tục tạo Port Group LAN và WAN, lưu ý phải kiểm tra xem là port group WAN có đang chạy Vlan không? Nếu có thì tag luôn vào, không thì phải tag trong pfsense, mình tạo luôn trên đây cho tiện.

• Sau khi tạo thì được mớ port group sau để add vào máy ảo khi cần

• Tiếp theo thì chỉ việc tạo máy ảo thôi, setup như hình là đủ cân hơn trăm thiết bị

• Phần setup thì mình không hướng dẫn vì nó chỉ next next là xong rồi
• Sau khi setup xong thì cắm dây mạng LAN trên máy tính vào cổng LAN trên máy server sau đó set IP tĩnh cho máy là 192.168.1.x subnet là 255.255.255.0 => tiếp theo mở web browser lên và gõ vào địa chỉ http://192.168.1.1 => điền user name mặc định là "admin" password mặc định là "pfsense" vào trong trang đăng nhập
• Ở mục assign interface add tất cả các cổng LAN đang có

• Ở port LAN đầu tiên, setup như hình, mục IP có thể số mấy tùy thích

• Ở port LAN chạy WAN thì điền username với password PPPOE được nhà mạng cấp như hình

• Bật DHCP ở mục services LAN

Phần setup cơ bản đã xong, bây giờ có thể dùng được rồi, tiếp theo là phần setup nâng cao nhé

- Đầu tiên là cách Load balancing 2 WAN ​

• Vô System -> Routing -> Gateways Group -> Add -> Chỉnh 2 WAN là tier 1 -> Đặt tên cho Group save lại là xong

• Sau khi tạo Gateway Group thì phải vào Firewall -> Rules -> Chọn Tab Lan/Bridge -> Chỉnh gateway là Group mới tạo để Loadbalancing ở bước trên

Tiếp theo là tạo switch ảo cho nhiều port LAN

• Đầu tiên thì vô mục Interfaces -> Bridges -> Add rồi chọn những port LAN tham gia vào switch như hình

• Sau khi tạo Bridge xong thì vô mục Interfaces -> Click vào Bridge mới tạo rồi điền như hình, lưu ý IP phải khác với các mục LAN kia

• Mục firewall -> tạo thêm các Rule ở LAN1, LAN2, LAN3... và BridgeSwitch mới tạo và để ý mục gateway nhớ chọn Group balancing (nếu có)

• Cuối cùng là bật DHCP ở Bridge lên và tắt DHCP ở các cổng LAN kia đi để tránh cấp IP lung tung

Thế là xong, rảnh mình viết tiếp về mục tạo SSL và DDNS trên này luôn

 

[langtubac248]

Tiếp tục phần Nas xpenlogy trên ảo hóa esxi

• Đầu tiên tải bộ tools https://www.fshare.vn/file/17M8YWDVZ4BZ giải nén ra pass là 1 và tool https://www.starwindsoftware.com/starwind-v2v-converter về máy tính và setup như bình thường
• Sau khi chuẩn bị đã xong ta bắt đầu tiền hành cài đặt:

• Đầu tiên vào esxi setup phần cứng cho nas, lưu ý các phần chính sau:
  • CPU 2 core trở lên
  • Ram 2Gb trở lên
  • Tạo 2 SATA Controller
  • OS chọn Other Linux 4.x 64 bit
  • Xóa toàn bộ ổ cứng lẫn ổ CD trong máy ảo
  • Xóa SCCI controller sau khi tao xong SATA controller (khuyến nghị)
  • Chỉnh Boot máy ảo về BIOS (Legacy) thay vì EFI (UEFI)
• Tiếp theo mở phần mềm Starwind lên chọn Local File -> Chỉnh đường dẫn tới file tinycore-redpill.v0.8.0.0.img -> Chọn mục remote VMware ESXi -> điền IP và password đăng nhập esxi -> Chọn tên máy ảo xpenlogy trong danh sách -> Chọn Esxi pre-allocated image (mục nào cũng ok) -> Convert -> Finish
• Tiếp theo là bước quan trong nhất:
  • Kết nối vào esxi, edit cấu hình máy ảo Xpenlogy, sẽ thấy 1 ổ cứng 1Gb mới được tạo (ổ này sẽ đóng vai trò boot mồi thay USB) và mở rộng thuộc tính ổ cứng này ra, chọn controller cho ổ cứng là SATA controller 0 và ổ SATA này là vị trí 0:0 như hình
    
    
    
  • Tiếp theo, tạo tiếp 1 ổ cứng dung lượng bất kỳ, ổ này set cho nó SATA controller là 1 và vị trí disk là 1:0 như hình
    
• Sau khi điều chỉnh xong mọi thứ thì boot vào DSM lấy IP, ssh vào DSM điền câu lệnh theo thứ tự sau:
  • nhập lệnh "./rploader.sh update" nhập Y nếu được hỏi
  • nhập lệnh "./rploader.sh fullupgrade" nhập Y nếu được hỏi
  • nhập lệnh "curl --location "https://github.com/PeterSuh-Q3/tinycore-redpill/raw/main/my.sh.gz" -O; tar -zxvf my.sh.gz;"
  • nhập lệnh "./my.sh"
  • nhập lệnh "./my.sh DS920+F" (đoạn này có thể thay bằng bất kỳ model nào nha ví dụ DVA1622)
  • nhập lệnh "exitcheck.sh reboot"
  • Tham khảo thêm chi tiết cách cài tại topic: https://voz.vn/t/huong-dan-setup-cau-hinh-ds920-chay-dsm-7-1-danh-cho-newbie.565325/
  • Sau khi setup xong thì coi xem phiên bản đang được cài là bản DSM bao nhiêu để tải file PAT tại: https://archive.synology.com/download/Os/DSM
    
  • Sau khi reboot và tự khởi động vào DSM thì kết nối theo IP hiển thì để tiến hành cài đặt DSM7 như bình thường
    
• Tạm viết tới đây thôi, rảnh mình bổ sung tiếp

 

[tungitbka]

Đo thử điện khi idle và fulload chưa bạn

 

[langtubac248]

Đo thử điện khi idle và fulload chưa bạn

IDLE cỡ 100W thôi bạn, khi nào gắn 8750H vào thì mình mới update điện đóm

 

[tungitbka]

Điện đóm thể cũng thốn nhỉ, mình đang chạy giống hệt bạn được nửa năm nay, cấu hình i5 6500te main h110 asus 3 card tpink rtl8168 1 ssd 2 hdd,16gb ram, idle ko tải thì 30w, còn bình thường chạy router os là mikrotik, 1 nas xoen ds920 l, 1 nvr xoen dva1622, thu 4 cam 4mp trong đó có 2 cam chạy task ai nhận diện khuôn mặt, 1 ubuntu chạy docker bao gồm 1 docker adguard home, 3 docker xui v2ray hack 4g server, 3 docker duck ddns update, 1 docker iperf server, 1 docker portainer, switch các port lan làm bằng mikroitik os luôn, mình đang tính nâng lên card 2.5g dual port. Chạy tất đống trên cpu load 30 40% ăn 50wat điện

 

[langtubac248]

Điện đóm thể cũng thốn nhỉ, mình đang chạy giống hệt bạn được nửa năm nay, cấu hình i5 6500te main h110 asus 3 card tpink rtl8168 1 ssd 2 hdd,16gb ram, idle ko tải thì 30w, còn bình thường chạy router os là mikrotik, 1 nas xoen ds920 l, 1 nvr xoen dva1622, thu 4 cam 4mp trong đó có 2 cam chạy task ai nhận diện khuôn mặt, 1 ubuntu chạy docker bao gồm 1 docker adguard home, 3 docker xui v2ray hack 4g server, 3 docker duck ddns update, 1 docker iperf server, 1 docker portainer, switch các port lan làm bằng mikroitik os luôn, mình đang tính nâng lên card 2.5g dual port. Chạy tất đống trên cpu load 30 40% ăn 50wat điện

của mình điện chủ yếu từ em CPU, mớ HDD, Lan 10Gbps, sau khi cắn 8750H mình sẽ vào xiết vcore CPU lại cho ăn ít điện hơn chắc giảm được thêm 10W, card LAN nó tải full cũng thấy 20W rồi, mà cái đó thì không thay được, chỉ có cách lên chipset mới may ra mới tiết kiệm điện được

 

[shrun]

Bác gì trên đây có viết bài về điện khá hay, càng nhiều phần cứng thì càng ăn điện thôi, đặt gạch hóng bác config từng phần

 

[son1xx2]

CPU thì vẫn khuyên dùng cpu đời 6, dòng đó là cân bằng nhất về hiệu năng, điện năng và gía thành đó bạn.

 

[pigdepdzai]

có bác nào dùng mấy con 10w như n5105 chạy proxmox/esxi chưa nhỉ. Mình cũng đang dùng tower case mà tiền điện thốn quá

 

[anhyeuviolet]

Xin link bác @langtubac248 mua con i7 dòng H nha.

 

[shadel]

Đánh dấu rảnh vào ngâm cứu

 

[ht.tux]

Card lan là 1gbps có link mua ko bạn, có support wol ko. Mình đang định chuyển homelab qua promox

 

[bribnt]

có bác nào dùng mấy con 10w như n5105 chạy proxmox/esxi chưa nhỉ. Mình cũng đang dùng tower case mà tiền điện thốn quá

Đang chạy proxmox với J4125, thấy cũng chưa có vấn đề gì. Hiện đang chạy

• 1 container LXC chính, bên trong có Home Assistant, Jellyfin, Zoneminder, v2ray
• 1 container gameserver private (dùng cá nhân)
• 1 VM DSM

Ăn điện trung bình 6-8w.

Sent from Xiaomi M2007J20CG using vozFApp

 

[langtubac248]

Card lan là 1gbps có link mua ko bạn, có support wol ko. Mình đang định chuyển homelab qua promox

card này hàng tháo server bạn ơi, mình mua của mấy ông bạn thanh lý server cũ

Features​

• Standards-compliant dual-port 1GBASE-T PCIe 2.1 Ethernet Controller
• Energy Efficient Ethernet compliant with IEEE 802.3az-2010
• IEEE 802.3ap Clause 73 auto-negotiation
• Dual 10/100/1000BASE-T full-duplex/half-duplex MACs
• Virtualization support with VMware NetQueue and Microsoft VMQ
• Wake-on-LAN support
• Energy Efficient Ethernet (EEE)

Applications​

• Cloud and Web2.0 data center servers
• Enterprise data center servers
• Private Cloud
• Machine Learning (ML) clusters
• High-Performance Computing (HPC) clusters
• Multi-node container platforms
• NVMe storage disaggregation (
  
  NVMe-oF™)
• Database servers

 

[chienbinhso13]

BCM5719, BCM5720 thím nào gắn main HP thì khéo ko nó ngáo nhé
trc e gắn Z420 thì ko POST đc, gắn HP Pavillion 500 thì mất 1 kênh ram :v
main hãng khác thì e thấy bthg

 

[lucius1605]

có bác nào dùng mấy con 10w như n5105 chạy proxmox/esxi chưa nhỉ. Mình cũng đang dùng tower case mà tiền điện thốn quá

Bọn này được thiết kế để ăn ít điện nen chắc chắn là không tốn rồi bác, mình cài ubuntu mode power saving treo torrent ăn có 7-8w (mình cắm thêm 1 chiếc WD Red plus 4TB qua hub thì total khoảng 16-17w)

Bác chạy nặng hơn, 100% CPU thì cũng chỉ tới tầm 20-25w hoặc 30w đổ lại là cùng vì công suất thiết kế nó chỉ có tới vậy.

 

[UrekMazino]

Hàng fen mua ở đâu mà giá rẻ quá vậy, chưa đến 5 tr

 

[langtubac248]

Hàng fen mua ở đâu mà giá rẻ quá vậy, chưa đến 5 tr

Mua qua app con cá nha, giống taobao nhưng là hàng 2nd chỉ ship nội địa, có thể deal giá được, mình có người quen bên đó hay đánh hàng về bán nên nhờ họ mua.

 

[supperchym]

Điện đóm thể cũng thốn nhỉ, mình đang chạy giống hệt bạn được nửa năm nay, cấu hình i5 6500te main h110 asus 3 card tpink rtl8168 1 ssd 2 hdd,16gb ram, idle ko tải thì 30w, còn bình thường chạy router os là mikrotik, 1 nas xoen ds920 l, 1 nvr xoen dva1622, thu 4 cam 4mp trong đó có 2 cam chạy task ai nhận diện khuôn mặt, 1 ubuntu chạy docker bao gồm 1 docker adguard home, 3 docker xui v2ray hack 4g server, 3 docker duck ddns update, 1 docker iperf server, 1 docker portainer, switch các port lan làm bằng mikroitik os luôn, mình đang tính nâng lên card 2.5g dual port. Chạy tất đống trên cpu load 30 40% ăn 50wat điện

cái dva1622 là thím xài exsi rồi passthrough igpu à