kiến thức [Chia sẻ] Tối ưu chí phí Cluster Service với AWS ECS và Fargate

Chào mọi người, mình có một bài blog về tối ưu chi phí hệ thống cluster service trên AWS và Fargate (mix giữa OnSpot và OnDemend) . Hệ thống này bên mình đang xài rất ổn và chỉ tốn ~800usd cho cả 3 môi trường (Test,Staging, Production) và rất ít cần maintenance phù hợp cho small-medium team size.
ecs-cost-optimization-with-fargate

Hệ thống mình gồm có:

• Infrastructure as code (Cloudformation)
• Autoscale hệ thống bởi CPU utilization
• Sự dụng nhiều best-practices trong security lẫn monitoring
• Auto log sang cloudwatch logs để tracking
• Support nhiều Parameter configure mà mọi người có thể dễ dàng update và tạo stack theo ý của mình

P/s: Mình cũng mới viết Blog mong mọi người góp ý và thảo luận ạ.

Pemo123 said:

Chào mọi người, mình có một bài blog về tối ưu chi phí hệ thống cluster service trên AWS và Fargate (mix giữa OnSpot và OnDemend) . Hệ thống này bên mình đang xài rất ổn và chỉ tốn ~800usd cho cả 3 môi trường (Test,Staging, Production) và rất ít cần maintenance phù hợp cho small-medium team size.
ecs-cost-optimization-with-fargate

Hệ thống mình gồm có:

• Infrastructure as code (Cloudformation)
• Autoscale hệ thống bởi CPU utilization
• Sự dụng nhiều best-practices trong security lẫn monitoring
• Auto log sang cloudwatch logs để tracking
• Support nhiều Parameter configure mà mọi người có thể dễ dàng update và tạo stack theo ý của mình

P/s: Mình cũng mới viết Blog mong mọi người góp ý và thảo luận ạ.

Click to expand...

Reup hiuhiu, không ai quan tâm về cloud aws nhỉ

via theNEXTvoz for iPhone

Quan tâm, chủ thớt cho hỏi là mình muốn tìm đọc những trang/blog về việc xây dựng hệ thống trên cloud như này thì nên đọc ở những nguồn nào vậy.
Mình đang là sv năm cuối định hướng muốn theo cloud (Cụ thể là muốn tham gia và xây dựng các hệ thống trên cloud), cũng apply vào project cloud nhưng phần cloud chưa được đụng mà chỉ được giao task be nên tính tự học ở nhà. Mình định tự học và lấy cert dev/saa ngoài ra chưa biết là nên tìm hiểu những gì tiếp theo, thớt recommend giúp mình được không.
Tks

Bài viết hay quá. Sắp tới mình phải triển khai trên AWS, chắc sẽ có cơ hội áp dụng nhiều đây. Cảm ơn chủ thớt đã chia sẻ với mọi người!

Nếu muốn tối ưu thì sao không dùng ECS thôi mà phải dùng Fargate? Dùng Fargate cost gấp 3 lần so với ECS thôi á, để đổi lấy cái tiện lợi là ko phải maintain EC2.

100 said:

Quan tâm, chủ thớt cho hỏi là mình muốn tìm đọc những trang/blog về việc xây dựng hệ thống trên cloud như này thì nên đọc ở những nguồn nào vậy.
Mình đang là sv năm cuối định hướng muốn theo cloud (Cụ thể là muốn tham gia và xây dựng các hệ thống trên cloud), cũng apply vào project cloud nhưng phần cloud chưa được đụng mà chỉ được giao task be nên tính tự học ở nhà. Mình định tự học và lấy cert dev/saa ngoài ra chưa biết là nên tìm hiểu những gì tiếp theo, thớt recommend giúp mình được không.
Tks

Click to expand...

Tks bạn quan tâm nha , cert aws bạn nên lấy solution architect cover đầy đủ các service cần thiết. Highly recommend. Với bạn học thêm terraform để tạo infrastructure trên github á, giờ mình để ý devops đa số nắm core tốt mà làm manual nhiề, IAC rất yếu và họ ít có thói quen note lại để reproduce được service. Giờ chỉ cần devop biết IAC với VPC và some security practise là chiến tới, đủ cân mọi thể loại )))

via theNEXTvoz for iPhone

Einherjar006 said:

Nếu muốn tối ưu thì sao không dùng ECS thôi mà phải dùng Fargate? Dùng Fargate cost gấp 3 lần so với ECS thôi á, để đổi lấy cái tiện lợi là ko phải maintain EC2.

Click to expand...

Đúng 1 phần á bạn, ec2 so giá sẽ rẻ hơn nhưng bị fix size instance. Còn fargate bạn custom đến 0.25 cpu cũng đc á tiện cho app nhỏ. Thêm nữa bạn hybrid giữa ondemend với spot thì rẻ vì giá spot fargate rẻ hơn ec2 cùng giá. Thêm nữa scale up down dễ với nhanh hơn ec2 bình thường, phù hợp cho traffic thay đổi liên tục

via theNEXTvoz for iPhone

Pemo123 said:

Đúng 1 phần á bạn, ec2 so giá sẽ rẻ hơn nhưng bị fix size instance. Còn fargate bạn custom đến 0.25 cpu cũng đc á tiện cho app nhỏ. Thêm nữa bạn hybrid giữa ondemend với spot thì rẻ vì giá spot fargate rẻ hơn ec2 cùng giá. Thêm nữa scale up down dễ với nhanh hơn ec2 bình thường, phù hợp cho traffic thay đổi liên tục

via theNEXTvoz for iPhone

Click to expand...

Nhiều app nhỏ, traffic thấp thì bỏ nó vào chung 1 máy (thậm chí 1 task) chạy thì tiết kiệm hơn chứ, thay vì app nào cũng tốn tối thiếu 0.5Gb, 0.25cpu.
Còn spot vs. on-demand thì EC2 cũng có mà. Đồng ý ở cái khoản dễ scale up/down, nhưng Fargate có cái dở là nếu chạy nhiều microservice quá thì nhiều khi quên xoá/bớt task là phí tiền, còn ecs thì nó cứ chạy trong ec2 thôi, ko phát sinh thêm cost trừ phi trigger autoscale.

Einherjar006 said:

Nhiều app nhỏ, traffic thấp thì bỏ nó vào chung 1 máy (thậm chí 1 task) chạy thì tiết kiệm hơn chứ, thay vì app nào cũng tốn tối thiếu 0.5Gb, 0.25cpu.
Còn spot vs. on-demand thì EC2 cũng có mà. Đồng ý ở cái khoản dễ scale up/down, nhưng Fargate có cái dở là nếu chạy nhiều microservice quá thì nhiều khi quên xoá/bớt task là phí tiền, còn ecs thì nó cứ chạy trong ec2 thôi, ko phát sinh thêm cost trừ phi trigger autoscale.

Click to expand...

Ukm nếu app nhỏ, traffic ổn định thì bạn bỏ vào chung ec2 ok á. Bài toán mình đưa general hơn là traffic thay đổi như cao điểm vào 12h mỗi ngày chẳng hạn thì cần autoscale. Vd đơn giản nha, bạn có 3 app chạy cùng 1 con ec2 nhưng chỉ có 1 app nó nhận traffic nhiều tốn nhiều cpu thì bạn sẽ scale như thế nào? Như autoscaling ec2 bt thì sẽ duplicate thêm một con ec2 nữa với 3 app trên. Nhưng vậy thì sai đúng không vì cái mình muốn là chỉ duplicate con app cần scale thôi. Khi xài chung nhiều service trên ec2 thì tính isolation sẽ không đc đảm bảo á, không scale được đúng service mình muốn

via theNEXTvoz for iPhone

Và thứ 2 autoscaling ec2 mình không thấy hỗ trợ hybrids giữa ondemend và spot. Mà production thì bạn không thể run hoàn toàn trên spot rồi . Với ý scale nhiều task quá quên xoá mình thấy thì hơi lạ, autoscale nếu app cpu < 30% trong bao nhiêu lâu sẽ tự scale down á nên vốn mình không cần xoá. Chỉ cần set max min với desire tasks thôi, còn service chạy mà quên tắt này thì lỗi devops rồi

via theNEXTvoz for iPhone