the_ruler
Đã tốn tiền
Kịp làm lake trong tháng tiếp theo đó không? Chỗ data hiện tại đang sync về bạn tính xử lý sao với nó?
Nếu kịp thì bạn tính làm nó ra sao?
Chỗ CDC kia bạn tính làm như nào với mysql và mongo?
via theNEXTvoz for iPhone
thắc mắc Hỏi về data engineer?
- Người tạo chủ đề vu dai
- Ngày bắt đầu
Nếu kịp thì bạn tính làm nó ra sao?
Chỗ CDC kia bạn tính làm như nào với mysql và mongo?
via theNEXTvoz for iPhone
trdr79
Senior Member
Cái này chắc sẽ cần phải planning để xem liệu resource có đủ, nếu không thì kế hoạch sẽ ntn để làm. Vì với nhu cầu nhiều như vậy cũng k thể làm hết được các yêu cầu mà nếu k làm thì mãi sẽ k giải quyết được vấn đề. Em chưa nghĩ ra cách gì có thể giải quyết nếu yêu cầu thay đổi liên tục cả, mong anh chia sẻ góc nhìn từ anh.
Data đã sync về thì sẽ lưu thành file parquet migrate lên S3 bucket.
Em biết có debezium Open Source tool support cả MySQL và MongoDB.
MySQL/MongoDB —> Debezium server—> Amazon Kinesis —> AWS Lambda —> S3 bucket
Nếu MySQL/MongoDB cài trên RDS thì có thể dùng thẳng AWS DMS để capture ra S3 bucket.
Em biết mỗi AWS nên k biết có solution nào khác k ạ
the_ruler
Đã tốn tiền
Có 2 ông DE thôi, phục vụ 5, 7 ông DA, bạn nghĩ làm kịp không?
Cứ giả sử tuyển thêm DE và 1 tháng nữa mới có thêm 2 đồng chí fresher + junior nữa onboad.
Nếu không kịp thì có cách nào xử lý được ngay không?
Yêu cầu là tháng tiếp theo phải lên ngay vài chục cái report với data cần query là 50% của tổng data trên cả 2 thằng MySQL + Mongo đi.
Ok, nếu với AWS thì coi như S3 làm lake đi, sau đó bạn làm gì để query chỗ đó? Và làm cách nào để cho đội DA đang dùng PowerBI kia lên được report?
Với tầm 2GB data/ day streaming qua debezium + kinesis kia thì nên sizing thế nào? Chi phí tầm bao nhiêu?
Còn giả sử với case là hệ thống chạy trên đống server bare-metal của công ty (hoặc thuê compute engine của CMC/ FPT) thì phải làm gì với nó?
Btw: Bạn đang là DE ha?
trdr79
Senior Member
Cái này em chưa nghĩ ra reply như thế nào
Để em thử suy nghĩ thêm xem sao ạ.
Có thể dùng AWS Glue Crawler, AWS Glue Catalog để tạo catalog các tables trên lake. Sau đó user có thể dùng Athena query. Như một bên cũ của em là cho user query bằng dbeaver để thân thiện với user. User có thể lựa chọn query/kéo về local nếu cần để làm các báo cáo chuyên sâu hơn.
Cái này thú thực em chưa có kinh nghiệm, cần phải tìm hiểu thêm về cái này.
Em thử đếm cua trong lỗ thì như sau:
2Gb/day ~ 1.5 records/second & 100kb/record
Giá cho khoảng 2Gb/ngày ~ 70Gb/month 2 days retention region Singapore
Em tính thử on-demand và cả provisioned thì giao động khoảng 45-65$/month
Công cụ tính https://calculator.aws/#/estimate
Sizing thì em chưa có kinh nghiệm chưa đánh giá được ạ. Em sẽ tìm hiểu thêm và update nếu được.
Nếu là on-premise hoặc private cloud thì em sẽ thay Amazon Kinesis bằng Apache Kafka —> Hadoop HDFS raw lake —> Spark clean & transform —> Apache Hive
Cơ mà em chưa có kinh nghiệm cho phần on-premise này vì em chỉ mới biết làm trên cloud thôi ạ. Em nghĩ concept nó sẽ giống nhau, cloud nó manage cho mình nên nhàn hơn còn làm on-premise phải tự setup và operate nó.
Dạ em DE mà em làm trái ngành, mới chuyển qua DE được 3 tháng á.
the_ruler
Đã tốn tiền
Good, thank câu trả lời của bạn.Cái này em chưa nghĩ ra reply như thế nào
Để em thử suy nghĩ thêm xem sao ạ.
Có thể dùng AWS Glue Crawler, AWS Glue Catalog để tạo catalog các tables trên lake. Sau đó user có thể dùng Athena query. Như một bên cũ của em là cho user query bằng dbeaver để thân thiện với user. User có thể lựa chọn query/kéo về local nếu cần để làm các báo cáo chuyên sâu hơn.
Cái này thú thực em chưa có kinh nghiệm, cần phải tìm hiểu thêm về cái này.
Em thử đếm cua trong lỗ thì như sau:
2Gb/day ~ 1.5 records/second & 100kb/record
Giá cho khoảng 2Gb/ngày ~ 70Gb/month 2 days retention region Singapore
Em tính thử on-demand và cả provisioned thì giao động khoảng 45-65$/month
Xem tệp đính kèm 1277426
Công cụ tính https://calculator.aws/#/estimate
Sizing thì em chưa có kinh nghiệm chưa đánh giá được ạ. Em sẽ tìm hiểu thêm và update nếu được.
Nếu là on-premise hoặc private cloud thì em sẽ thay Amazon Kinesis bằng Apache Kafka —> Hadoop HDFS raw lake —> Spark clean & transform —> Apache Hive
Cơ mà em chưa có kinh nghiệm cho phần on-premise này vì em chỉ mới biết làm trên cloud thôi ạ. Em nghĩ concept nó sẽ giống nhau, cloud nó manage cho mình nên nhàn hơn còn làm on-premise phải tự setup và operate nó.
Dạ em DE mà em làm trái ngành, mới chuyển qua DE được 3 tháng á.
DE mới chuyển ngành mà cũng hiểu cơ bản đấy.
Bạn cần thêm kinh nghiệm thực chiến nữa mình nghĩ sẽ ok thôi.
Thực tế thì mấy bài toán như trên khá phổ biến ở các cty cỡ vừa, bắt đầu chuyển đổi số và cần report ngay lập tức.
Có điều các công ty kiểu này vừa yếu vừa thiếu về nhân lực IT nên gần như bạn sẽ phải cân tất, từ việc dựng, maintenance hệ thống, tới build các pipeline với data, tới cả dựng hoặc tích hợp các công cụ BI vào và làm cả report luôn nữa.
Những bên như này thì lại khá tham lam, yêu cầu nhiều và đòi chất lượng cao nữa hehe
Okay chắc mình stop các câu hỏi ở đây. Bạn muốn trao đổi thêm thì cứ tự nhiên nhé.
Nếu coi đây là một buổi phỏng vấn thì mình thấy khá tiếc vì không bạn nào đi hỏi ngược lại để làm rõ đầu bài hơn nữa cả. Good luck
via theNEXTvoz for iPhone
Data Collector
Member
toàn thấy các bác nói về cloud service nhỉ.
Cty em dùng hàng tự build. cảm thấy lạc hậu
Cty em dùng hàng tự build. cảm thấy lạc hậu
trdr79
Senior Member
Cảm ơn anh đã dành thời gian.
Đúng là e có cảm thấy thiếu nhiều thông tin mà chưa biết/dám hỏi thêm để clear bài toán. Đây chắc chắn sẽ là kinh nghiệm cho e để đi phỏng vấn sau này.
hi vọng biết đâu sau này a lại phỏng vấn em ^^
Đúng là e có cảm thấy thiếu nhiều thông tin mà chưa biết/dám hỏi thêm để clear bài toán. Đây chắc chắn sẽ là kinh nghiệm cho e để đi phỏng vấn sau này.
hi vọng biết đâu sau này a lại phỏng vấn em ^^
trdr79
Senior Member
Em đang làm về cloud nên em biết mỗi cloud chứ chưa có kinh nghiệm làm on premise. Với em thấy cloud dễ deploy, dễ maintain, chủ yếu tập chung xử lý business logic hơn thay vì phải ngồi setup hệ thống, tính toán chi phí, lại phải lo lắng về availability, durability. Nếu mà tự làm thì hiểu sâu nhưng lại tốn quá nhiều thời gian, yêu cầu phải có kiến thức chuyên sâu.toàn thấy các bác nói về cloud service nhỉ.
Cty em dùng hàng tự build. cảm thấy lạc hậu
Dưới góc độ người làm thì sẽ là học hỏi được nhiều, biết chi tiết bản chất. Em cũng rất muốn có cơ hội học hỏi được thêm từ mn.
trdr79
Senior Member
Anh có thể chia sẻ kinh nghiệm của anh về phần này k ạ?
Anh Ken
Senior Member
là tôi thì bí quá dí tốt. Tôi training anh em DA cách run mấy cái ETL đơn giản. Train qua cloud hay on-prem rồi để chạy những cái đơn giản nhất. Trong thời gian ấy thì xác định xem nhưng cái report cần thiết có common như nào rồi xây cái data mart để làm tạm cho DA đã. Rồi tính tiếp. Anw mình cũng từ SE qua DE đc 2 tháng. Bro biết nhiều hơn mình rồi
. Bro cho mình xin LinkedIn được khôngGửi từ Xiaomi M2102J20SG bằng vozFApp
Who_Am_I_?
Senior Member
Post này dạo xôm quá 
Các bác trên cũng nói nhiều về kiến thức xây dựng hệ thống rồi.
Mình cũng chỉ muốn nói là đừng bắt đầu từ những thứ cao siêu quá. Cứ bắt đầu bằng việc code clean hơn, viết SQL sáng hơn, luyện nhiều về thuật toán và mạnh về cấu trúc dữ liệu…
Chính những thứ base nhất sẽ giúp các bạn hiểu rõ các bạn cần làm gì khi có task hay bug.
Và chiến trường là nơi tạo ra các chiến binh. Cố gắng đi thực tập, thực tế sẽ khác rất nhiều so với việc mình đang nói.
Cùng Cố gắng các bro nhé.
Các bác trên cũng nói nhiều về kiến thức xây dựng hệ thống rồi.
Mình cũng chỉ muốn nói là đừng bắt đầu từ những thứ cao siêu quá. Cứ bắt đầu bằng việc code clean hơn, viết SQL sáng hơn, luyện nhiều về thuật toán và mạnh về cấu trúc dữ liệu…
Chính những thứ base nhất sẽ giúp các bạn hiểu rõ các bạn cần làm gì khi có task hay bug.
Và chiến trường là nơi tạo ra các chiến binh. Cố gắng đi thực tập, thực tế sẽ khác rất nhiều so với việc mình đang nói.
Cùng Cố gắng các bro nhé.
zchimsau
Senior Member
Hóng câu qa tiếp theo của đại ca
nhok_zoro
Senior Member
Ruaconlonton123
Senior Member
các bác cho hỏi làm DE có phải code nhiều và chất lượng code (clean code, dễ maintain) như SE không nhỉ?
codeforfood2015
Senior Member
Tùy từng cty, mỗi cty có các framwork làm việc khác nhau.
Có cty thiên về kéo thả, config như dùng Nifi, ODI,... làm phần điều khiển
Có cty thì code sấp mặt. Mà code thì sẽ phải gắn liền với clean code rồi. Maintain khó hay dễ thì phụ thuộc vào tư duy của thằng leader khởi tạo project ấy.
sirhung1993
Người qua đường
DE thì là sub-set của SE ( software engineer) . Về tính chất công việc thì cũng tương đương nhau, nhưng title này sinh ra để focus vào việc xử lý data ( streaming/ batching / transform/ loading) .
Nhiều cty hay mix luôn DE vs DB-admin , nhưng thực tế công việc của DE không chỉ là query từ DB nguồn -> transform -> đổ vào DB đích , mà phân tích thêm đặc tính dữ liệu , read nhiều hay write nhiều ( hoặc hỗn hợp ) , nghiệp vụ cần những gì , có cần thiết phải realtime ko ?
Với quy mô nhỏ thì dùng luôn OLTP + đánh index hợp lý + partitioning chuẩn thì đã giải quyết được kha khá nhu cầu về BI/DA rồi. Cần DE nhảy vào khi bài toán phức tạp hơn .
Có quyển này đưa ra vài bài toán common cho DE: Mining Massive Dataset
Nhiều cty hay mix luôn DE vs DB-admin , nhưng thực tế công việc của DE không chỉ là query từ DB nguồn -> transform -> đổ vào DB đích , mà phân tích thêm đặc tính dữ liệu , read nhiều hay write nhiều ( hoặc hỗn hợp ) , nghiệp vụ cần những gì , có cần thiết phải realtime ko ?
Với quy mô nhỏ thì dùng luôn OLTP + đánh index hợp lý + partitioning chuẩn thì đã giải quyết được kha khá nhu cầu về BI/DA rồi. Cần DE nhảy vào khi bài toán phức tạp hơn .
Có quyển này đưa ra vài bài toán common cho DE: Mining Massive Dataset
