thắc mắc Mấy bác Data Engineer skill python có sử dụng pandas ?
- Người tạo chủ đề nguyenluc900
- Ngày bắt đầu
the_ruler
Đã tốn tiền
Bạn đang đọc như nào và đánh giá nhanh/ chậm như nào?
Hỏi thì phải có info rõ ràng chứ bạn?
via theNEXTvoz for iPhone
tornado
Member
1 file excel tầm 400k dòng đọc mất 1phut , cùng file excel đó nhưng lưu dạng csv thì chỉ mất 1s thôi
the_ruler
Đã tốn tiền
Tóm lại là anh hỏi trên voz này cũng để cho vui thôi đúng không? Vì thật ra anh cũng đâu cần câu trả lời
Edit: Thôi thì tôi cũng chả dỗi anh nữa. Cách tôi read excel vào pandas như sau:
- Dùng xlsx2csv convert excel qua csv chạy multiprocessing (IO-bound)
- Dùng read_csv để read đống csv sau khi convert.
Sửa lần cuối:
tornado
Member
Anh bị dở à. Tôi hỏi trên đó không có trả lời, tôi thấy thớt này thì tôi hỏi xem biết đâu có ai biết.Tóm lại là anh hỏi trên voz này cũng để cho vui thôi đúng không? Vì thật ra anh cũng đâu cần câu trả lời
Edit: Thôi thì tôi cũng chả dỗi anh nữa. Cách tôi read excel vào pandas như sau:
Cái này bọn tôi wrap nó thành 1 cái utils nhỏ nhỏ để dùng chung.
- Dùng xlsx2csv convert excel qua csv chạy multiprocessing (IO-bound)
- Dùng read_csv để read đống csv sau khi convert.
Thank anh giới thiệu cái lib, để tôi thử.
the_ruler
Đã tốn tiền
1. Tôi không bị dở.
2. Anh nói anh hỏi trên stackoverflow nhưng không vất nổi 1 cái link ra để người ta biết anh đã hỏi cái gì.
Tôi cười với cách đi hỏi của anh.
nguyenluc900
Member
Mình đang build Data Warehouse, stack mình đang xài là: C#( Làm Web services), Python, SSIS.
Một số task đơn giản get data từ source SQL thì mình xài SSIS, còn lại mình code bằng Python.
Hiện tại mình đang dùng Windows Task để schedule các script của Python. (Có nhiều hạn chế)
Ko biết là mấy anh DE thường dùng cái gì để schedule script python nhỉ ?
quangdaomobile
Junior Member
Bác có thể dùng airflow nha.
https://airflow.apache.org/.
Ở đấy ngoài có pythonOperator thì còn BashOperator, Senor, HDFSSensor...
nguyenluc900
Member
Xài thằng này có nhúng thằng project python vào đc ko bác hay phải code lại ?
the_ruler
Đã tốn tiền
Thím có thể ngó qua Airflow và Luigi.
Nhưng con DW thím đang build thì mình đoán là xoay quanh SQL Server: ssrs, ssas, ssis ... nên cứ chơi bộ tool của ms cho tiện.
Còn không bác tách mấy con orchestration ra thành hệ thống riêng cũng được.
Bên mình trước cũng có con dw dựng với sql server, phần etl thì mình tách riêng còn từ atomic đi thì nằm trong MS-eco system
via theNEXTvoz for iPhone
quangdaomobile
Junior Member
Có bạn à, bạn import từ file bạn code rồi call thôi ý.
codeforfood2015
Senior Member
Mình cũng đang dùng airflow nhung nhiều cái khó setup rẽ nhánh nên chuyển sang tự code một cái base trên celery
Về sau tìm hiểu thêm được thằng này: prefect.io.
tiengdonhoarira
Senior Member
cauthungoaihang
Member
Up cho topic bổ ích. Lâu rồi thấy toàn thớt nhảm, ít thớt chia sẻ kiến thức thế này. 
southernstar
Member
Nhưng thật ra pyspark cũng cấp DataFrame cũng khá giống df của pandas (khác nhau cũng kha khá), hiểu tư tưởng từ df thì sang pyspark dễ không thôi. Còn DE thì như chỗ t làm trước họ không dùng mấy. Đa phần viết job ETL với các con db cho search+index th
Chủ đề tương tự
