thảo luận [DE Personal Project] VOZ ETL data pipeline

Giam Doc EVN · 11/9/22

Hi các thím, vài tháng vừa rồi mình rảnh rỗi với lại được AMZ nó cho $300 miễn phí để vọc AWS nên mình có ý tưởng scrape vài data trên voz (chủ yếu user với thread) để tạo 1 ETL data pipeline từ RDS PostgreSQL -> S3 -> Redshift -> auto-update dashboard trên Google Data Studio. Bên cạnh đó mình dùng Docker-Airflow để schedule ETL cho nó tự chạy từ RDS Postgrel -> Redshift luôn.

Tech stack: Selenium Webdriver, Python, Postgesql, S3 bucket, RDS PostgreSQL database, Redshift data warehouse, Docker-compose, Airflow, Google Data Studio.

Một số điểm nhấn là mình sử dụng JSONB data type của PostgreSQL và SUPER data type của Redshift để lưu data dạng dict và array thay vì tạo bảng mới. Vì mình không thực hiện aggregation trên các field này nên việc read/write sẽ nhanh hơn, chỉ unpack khi lưu vào Redshift. Mình cũng thực hiện word-count tất các các comments của 1 thread (nếu có) để xem từ nào thường xuất hiện nhiều nhất trong các hot threads.

Mình đang học DE nên đây xem như 1 bài tập thôi. Xin các thím đóng góp ý kiến để nó hoàn thiện hơn

Một vài hình ảnh tổng quan.

Work flow

Dag

Dashboard - Threads Page

Dashboard - User Page

Các thím có thể tham khảo project ở link bên dưới
Source Code
Dashboard

MountainRain · 11/9/22

1 vài ý kiến cá nhân:

Bạn có thể sử dụng nhiều csdl hơn thay vì chỉ sử dụng redshift, ví dụ như với cái wordcount mình nghĩ key-value db dạng redis sẽ thích hợp hơn
Data lấy được từ scraping có thể đẩy trực tiếp vào s3 rồi redshift, mình chưa hiểu lắm vai trò của rds
Hiện tại mình thấy elt có vẻ trendy hơn so với etl truyền thống, bạn có thể modify 1 chút project theo hướng này, sử dụng 1 vài tool như airbyte, fivetran cho data ingestion, dbt cho transformation,... nếu thêm project vào cv sẽ có lợi hơn

with that said, amazing good job

DannyMai2010 · 11/9/22

Bác đang học DE hả bác ? Bác học chương trình ở đâu hay trường nào vậy bác ha. Mong bác chia sẻ.

trucdp · 11/9/22

bác làm gì mà đuọcw tang 300credit thơm v

Giam Doc EVN · 11/9/22

MountainRain đã nói:
1 vài ý kiến cá nhân:

Bạn có thể sử dụng nhiều csdl hơn thay vì chỉ sử dụng redshift, ví dụ như với cái wordcount mình nghĩ key-value db dạng redis sẽ thích hợp hơn

Data lấy được từ scraping có thể đẩy trực tiếp vào s3 rồi redshift, mình chưa hiểu lắm vai trò của rds

Hiện tại mình thấy elt có vẻ trendy hơn so với etl truyền thống, bạn có thể modify 1 chút project theo hướng này, sử dụng 1 vài tool như airbyte, fivetran cho data ingestion, dbt cho transformation,... nếu thêm project vào cv sẽ có lợi hơn

with that said, amazing good job

Bác nói chuẩn rồi. Xét về tính thực tế của ETL này thì nên bỏ bước RDS, nhưng mà em vẽ thêm tí việc mục đích để luyện tập cách migrate data từ on-premise db to cloud thôi. Về trend ELT em hay đọc r/dataengineering với medium cũng thấy các chiên da đổi qua mô hình ELT -> Data Modeling -> Analytics. Để từ từ em vọc thêm

DannyMai2010 đã nói:
Bác đang học DE hả bác ? Bác học chương trình ở đâu hay trường nào vậy bác ha. Mong bác chia sẻ.

Mình tự học online thôi thím ơi
Tài liệu thì chọn ở đây
https://dataengineering.wiki/Learning+Resources
Việc quan trọng là phải thường xuyên đọc các bài thảo luận của người trong ngành để tham khảo solution của họ và họ dùng tech stack nào cho những dự án nào. Mình hay đọc r/engineering và medium thôi
https://www.reddit.com/r/dataengineering/
medium.com

trucdp đã nói:
bác làm gì mà đuọcw tang 300credit thơm v

Trước đó mình có học mấy AWS course miễn phí của amz xong tạo tài khoản free tier của AWS rồi deploy project của mình. Không biết sao amz nó gửi email bảo điền form vào để có cơ hội được tặng $300 credit cho AWS. Link bên dưới
https://pages.awscloud.com/adoptf90d_GLOBAL_POC-credits.html

DannyMai2010 · 11/9/22

Giam Doc EVN đã nói:
Mình tự học online thôi thím ơi
Tài liệu thì chọn ở đây
https://dataengineering.wiki/Learning+Resources
Việc quan trọng là phải thường xuyên đọc các bài thảo luận của người trong ngành để tham khảo solution của họ và họ dùng tech stack nào cho những dự án nào. Mình hay đọc r/engineering và medium thôi
https://www.reddit.com/r/dataengineering/
medium.com

Thanks thím. Nếu mà tự học online thôi thì hơi khó áp dụng với mình tại vì mình là chuyển ngành, đang học. Vậy nên vẫn ưa chuộng học trường lớp và thầy giáo hơn.
Anw , thanks thím rất nhiều vì đã chia sẻ thêm, mình đã note lại để tự học thêm luôn.

Giam Doc EVN · 11/9/22

DannyMai2010 đã nói:
Thanks thím. Nếu mà tự học online thôi thì hơi khó áp dụng với mình tại vì mình là chuyển ngành, đang học. Vậy nên vẫn ưa chuộng học trường lớp và thầy giáo hơn.
Anw , thanks thím rất nhiều vì đã chia sẻ thêm, mình đã note lại để tự học thêm luôn.

Nói tự học online cũng không chính xác lắm vì mình học BSCS, hiện tại cũng đang học MSCS chuyên ngành ML. Mình chỉ học online các nghiệp vụ của DE thôi.

itachicitus · 11/9/22

MountainRain đã nói:
1 vài ý kiến cá nhân:

Bạn có thể sử dụng nhiều csdl hơn thay vì chỉ sử dụng redshift, ví dụ như với cái wordcount mình nghĩ key-value db dạng redis sẽ thích hợp hơn

Data lấy được từ scraping có thể đẩy trực tiếp vào s3 rồi redshift, mình chưa hiểu lắm vai trò của rds

Hiện tại mình thấy elt có vẻ trendy hơn so với etl truyền thống, bạn có thể modify 1 chút project theo hướng này, sử dụng 1 vài tool như airbyte, fivetran cho data ingestion, dbt cho transformation,... nếu thêm project vào cv sẽ có lợi hơn

with that said, amazing good job

Word count sử dụng key value là cực kỳ sai nhé. Bạn này dùng Redshift cho analytics là chuẩn rồi.

thoidaiso · 11/9/22

Về cơ bản thì ok nhưng nếu muốn hoàn thiện hơn thì bạn có thể xem xét:

1. Tại sao phần code scraping từ voz phải chạy manual trên máy bạn mà không chạy với airflow?
2. Tại sao phải lưu vào postgreSQL mà không lưu thẳng vào Redshift hay S3 ?
a. Nên đặt câu hỏi khi nào nên lưu vào S3, khi nào nên lưu thẳng vào Redshift?
3. Workflow của bạn đang là ETL, có thể consider làm theo hướng ELT được không?
a. Với ELT thì sẽ dùng cái gì cho phần T? (suggest DBT)

Suggest thiết kế theo hướng ELT như sau:
1. Dùng airflow schedule chạy code scrape voz data.
a. Nên consider với việc chạy incremental cho data mới, thay vì chạy full mỗi lần.
2. Lưu thẳng vào Redshift, nếu mục tiêu chỉ là visualization.
3. Dùng dbt để transformation với data trên Redshift ra các tables đầu cuối mà bạn muốn visualize.
a. Bên DE khá quan tâm tới việc thiết kế table khi lưu data trong Database, bạn có thể consider xem thêm về dimensional modeling.

Giam Doc EVN · 12/9/22

thoidaiso đã nói:
Về cơ bản thì ok nhưng nếu muốn hoàn thiện hơn thì bạn có thể xem xét:

1. Tại sao phần code scraping từ voz phải chạy manual trên máy bạn mà không chạy với airflow?
2. Tại sao phải lưu vào postgreSQL mà không lưu thẳng vào Redshift hay S3 ?
a. Nên đặt câu hỏi khi nào nên lưu vào S3, khi nào nên lưu thẳng vào Redshift?
3. Workflow của bạn đang là ETL, có thể consider làm theo hướng ELT được không?
a. Với ELT thì sẽ dùng cái gì cho phần T? (suggest DBT)

Suggest thiết kế theo hướng ELT như sau:
1. Dùng airflow schedule chạy code scrape voz data.
a. Nên consider với việc chạy incremental cho data mới, thay vì chạy full mỗi lần.
2. Lưu thẳng vào Redshift, nếu mục tiêu chỉ là visualization.
3. Dùng dbt để transformation với data trên Redshift ra các tables đầu cuối mà bạn muốn visualize.
a. Bên DE khá quan tâm tới việc thiết kế table khi lưu data trong Database, bạn có thể consider xem thêm về dimensional modeling.

1. Em tốn mấy ngày để chạy scraper bằng airflow mà không có cách nào chạy cái selenium webdriver được nên đành bó tay thôi thím ơi.
2. Em lưu vào PG để practice thôi chứ trên thực tế chắc chắn em sẽ lưu trực tiếp vào S3 rồi :byebye:

3. Em sẽ phát triển project này theo hướng ELT trong tương lai, đồng thời build vài ML model cho dataset này luôn.

Em mới tập tành DE thôi nên chưa quen nhiều tool. Chắc chắn sẽ vọc dbt trong thời gian tới :byebye:

Em có biết fact-dimension model nhưng mà dataset này ít entity quá, chỉ có mỗi thread với user thôi nên em làm đơn giản

Who_Am_I_? · 2/10/22

Hi Bro,

Vụ crawler ấy, bạn có 2 cách để xử lý để control được việc chạy của job crawler này là tạo job crawler của bạn thành 1 dạng webhook và phía airflow sẽ call nó để bên kia chạy. cách 2 là build docker image cái code crawler của bạn, rồi bên airflow sẽ có DockerOperator có thể call chạy bình thường, chú ý đến network để nó call là ok
Lưu ở S3 bạn thử tìm hiểu về dạng parquet xem sao, nó sẽ hỗ trợ chơi với Apache Spark tốt hơn csv
Nếu muốn chơi vui nữa thì nghiên cứu việc load dữ liệu thì có thể dùng batch kết hợp với realtime không (optional nha)
Cá nhân mình dùng Dashboard của bạn thấy hơi chậm chỗ search theo tên user , thì không biết lượng dữ liệu bao nhiêu mà chậm vậy (khoảng 20s mình mới search được). Nên bạn xem lại về data model hoặc câu lệnh query ở data studio

Còn mọi thứ đều ok nhé.
Cảm ơn bro đã share =))

)

Giam Doc EVN · 4/10/22

Who_Am_I_? đã nói:
Hi Bro,

Vụ crawler ấy, bạn có 2 cách để xử lý để control được việc chạy của job crawler này là tạo job crawler của bạn thành 1 dạng webhook và phía airflow sẽ call nó để bên kia chạy. cách 2 là build docker image cái code crawler của bạn, rồi bên airflow sẽ có DockerOperator có thể call chạy bình thường, chú ý đến network để nó call là ok

Lưu ở S3 bạn thử tìm hiểu về dạng parquet xem sao, nó sẽ hỗ trợ chơi với Apache Spark tốt hơn csv

Nếu muốn chơi vui nữa thì nghiên cứu việc load dữ liệu thì có thể dùng batch kết hợp với realtime không (optional nha)

Cá nhân mình dùng Dashboard của bạn thấy hơi chậm chỗ search theo tên user , thì không biết lượng dữ liệu bao nhiêu mà chậm vậy (khoảng 20s mình mới search được). Nên bạn xem lại về data model hoặc câu lệnh query ở data studio

Còn mọi thứ đều ok nhé.
Cảm ơn bro đã share )

Cám ơn thím đã góp ý, để em ngâm cứu phát triển trong tương lai. Cái search by username cực kỳ chậm là tại vì username có ký tự đặc biệt nha thím. Đáng lẽ bỏ field đấy nhưng mà để test cho đầy đủ chức năng :big_smile:

Sniper_V2 · 4/10/22

Sao có 300 buck mà dựng được nhiều thế chủ thread, mình con redshift có khi cắn hết $300 rồi ấy chứ :eek:

DE Tương lai · 31/3/24

Hi anh rep inb e với được k ạ. Em cảm ơn

thảo luận [DE Personal Project] VOZ ETL data pipeline

Giam Doc EVN

Đã tốn tiền

MountainRain

Senior Member

DannyMai2010

Đã tốn tiền

trucdp

Senior Member

Giam Doc EVN

Đã tốn tiền

DannyMai2010

Đã tốn tiền

Giam Doc EVN

Đã tốn tiền

itachicitus

Senior Member

thoidaiso

Senior Member

Giam Doc EVN

Đã tốn tiền

Who_Am_I_?

Senior Member

Giam Doc EVN

Đã tốn tiền

Sniper_V2

Member

DE Tương lai

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này