Có. Lưu ý là Pandas nó có một số practice nên theo để tối ưu. Dataset lớn thì chunk nó ra. Pandas ngon khi clean, có đủ đồ chơi. Nhưng aggregate thì không nhanh.
Bác có document ko để mình nghiên cứu.
Không bác. Đó là những gì mình đã làm.
Bao nhiêu là bự bạn? Hỏi quan điểm thôi nhé.
Theo kinh nghiệm sử dụng mình thấy vài gb data thì spark ko hơn đc pandas, nhưng tầm chục đến vài chục gb là sẽ có sự khác biệt
Vài trăm cũng chưa thấm vào đâu đâu. Combo trên của mình cân 300GB vẫn chưa thấy vấn đề gì xảy ra.Theo kinh nghiệm sử dụng mình thấy vài gb data thì spark ko hơn đc pandas, nhưng tầm chục đến vài chục gb là sẽ có sự khác biệt
Bác cho mình xin contact để mình học hỏi nha bác.
Dự án bên mình làm data lớn thì thấy dùng thằng Spark như bác này nói thật, +1
Vậy trên production của ex-company bên bạn dùng stack gì vậy ?
Hadoop eco-sys nhé.
Cơ mà bác Hellscream chơi đc 300 GB bằng Pandas thì cũng kinh, mình chưa gặp bh, bác có thể chia sẻ ae 1 chút là bác đang làm như tn ko
Đã gọi là "không nói tới infra" thì nói gì nữa bạn ơi. Cắm đôi ba TB ram vào thì cân được chứ saoBên mình thì chủ yếu chơi trên aws nên ko phải lo gì mấy vụ setup gì hạ tầng ở dưới, cần thì khởi tạo resource, ko cần thì tắt đi, tập trung dev pipeline thôi
Ùi, giờ mình đang làm với vài GB đây. To thì cũng thích mà cũng mệt, mệt nhất ở khoản testing. Chạy con job mất cả tuần mới ra kết quả, sai đi sửa lại nhục lắm.
)
