Data Analytics - Chia sẻ chuyện nghề.

Em đang có 1 project về tự động hóa quy trình báo cáo. Đã xây dựng xong quy trình xử lý dữ liệu tự động trên python. Nhưng sang PBI thì cái python script của nó cùi với chậm quá nên phải chuyển hướng sang extract các dataframe ra 1 folder và hằng ngày vào PBI refresh. Không biết có cách nào để tự động hoàn toàn không phải refresh bằng cơm không các thím nhỉ?
Btw lương DA fresher giờ tầm bao nhiêu vậy các thím, bắt đầu rải cv đi phỏng vấn mà chưa biết vụ lương lậu thế nào.

Ibrahimovic93 said:

Em đang có 1 project về tự động hóa quy trình báo cáo. Đã xây dựng xong quy trình xử lý dữ liệu tự động trên python. Nhưng sang PBI thì cái python script của nó cùi với chậm quá nên phải chuyển hướng sang extract các dataframe ra 1 folder và hằng ngày vào PBI refresh. Không biết có cách nào để tự động hoàn toàn không phải refresh bằng cơm không các thím nhỉ?
Btw lương DA fresher giờ tầm bao nhiêu vậy các thím, bắt đầu rải cv đi phỏng vấn mà chưa biết vụ lương lậu thế nào.

Click to expand...

Tự động hoàn toàn thì nó có sẵn gateway và Power BI service để refresh dữ liệu rồi, quan trọng quy trình xử lý dữ liệu của bạn ntn.
Bạn mô tả chi tiết hơn sẽ có phương án phù hợp.

Nhiều bạn inbox hỏi mình nguồn học SQL và SQL nâng cao, mình post luôn lên đây cho các bạn quan tâm.


1. HackerRank: là 1 trang web cung cấp rất nhiều các câu hỏi từ easy -> hard giúp các bạn nâng cao kỹ năng coding của mình trong nhiều domain khác nhau trong đó có SQL (bên cạnh SQL Server còn có đầy đủ các ngôn ngữ truy vấn khác để luyện tập)
https://www.hackerrank.com/domains/sql

2. Leetcode: lựa chọn nôi dung Database, giao diện giải bài tương tự HackerRank tuy nhiên các bài toán sẽ nâng cao hơn, đồng thời để truy cập đầy đủ tài nguyên thì sẽ phải upgrade tài khoản lên premium. https://leetcode.com/problemset/database/

3. SQLBolt: là 1 trang web tích hợp các bài học và test giúp các bạn hệ thống lại kiến thức đầy đủ nhất https://sqlbolt.com/

4. w3schools.com: tương tự như SQLBolt, cung cấp nền tảng hệ thống kiến thức đồng thời với các Example và Test https://www.w3schools.com/sql/default.asp

5. 3 đầu sách dành cho các bạn muốn học advanced hơn về SQL:
- Murach’s SQL Server 2016 for Developers by Joel Murach
https://drive.google.com/file/d/10aIqRI-s_dbj-h3M5Z93nTyAZo-1CS1l/view
- Exam ref 70-761 querying data with Transact-SQL
https://drive.google.com/file/d/1Un6_adz5S-T3zuD0xIf0E3g4bZsfAxBO/view
- Tìm hiểu concept về Datawarehouse: Fact, Dim, Schema,....(Chapter 1)
https://drive.google.com/file/d/17DhpEh8wcAFNKuFp8p5x5zZry8aOc6lE/view?usp=sharing

6. Ngoài ra các bạn có thể học thêm thông qua Learning Path của các chứng chỉ liên quan đến Data Analyst cung cấp bởi Microsoft:
https://docs.microsoft.com/en-us/learn/certifications/browse/?roles=data-analyst

thuocdo181 said:

Power BI muốn tự học thì thử nghiên cứu quyển DAX Pattern, học theo chủ đề dễ nhớ hơn.

https://www.daxpatterns.com/

Follow blog của mấy bên này nữa:
https://www.sqlbi.com/
https://radacad.com/
https://www.enterprisedna.co/

Còn muốn đi sâu hẳn về Power BI thì nên học thêm về phần modeling, SQL. Tham khảo thêm quyền Data Warehouse Toolkits nữa.

Học thêm về Power App với Power Automate cũng nhiều tiềm năng đó.

Click to expand...

Bác ơi, bác có nguồn bài tập nào để thực hành Power BI không bác?

nghề này tuyển dụng có yêu cầu nhiều về tuổi không ae, mình dân tài chính, 30 tuổi bắt đầu học từ đầu không biết ổn ko

DiEnd said:

Bác ơi, bác có nguồn bài tập nào để thực hành Power BI không bác?

Click to expand...

Mời thím quẩy, xem có sức hay không thôi:

https://www.workout-wednesday.com/power-bi-challenges/

https://www.makeovermonday.co.uk/

https://www.enterprisedna.co/challenges/

__TVD__ said:

nghề này tuyển dụng có yêu cầu nhiều về tuổi không ae, mình dân tài chính, 30 tuổi bắt đầu học từ đầu không biết ổn ko

Click to expand...

Data Analyst về mảng tài chính cần nhiều mà bác. Nên coi là thêm 1 kỹ năng để phát triển trong ngành mình đang làm chứ không phải bỏ đi hết làm lại từ đầu đâu.

thuocdo181 said:

Data Analyst về mảng tài chính cần nhiều mà bác. Nên coi là thêm 1 kỹ năng để phát triển trong ngành mình đang làm chứ không phải bỏ đi hết làm lại từ đầu đâu.

Click to expand...

Mà thấy hình như DA đang khó kiếm việc hả bác. Em rải 30-40 cty rồi mà chưa có kết quả. Có bạn kia đang làm DE cũng kể ngày xưa rải gần 100 cty, rồi th bạn của bạn đấy thì rải 600 cty mới có job. Khiếp.

dannymai2022 said:

Mà thấy hình như DA đang khó kiếm việc hả bác. Em rải 30-40 cty rồi mà chưa có kết quả. Có bạn kia đang làm DE cũng kể ngày xưa rải gần 100 cty, rồi th bạn của bạn đấy thì rải 600 cty mới có job. Khiếp.

Click to expand...

Mình và một số team mình biết vẫn đang tuyển người chạy dự án sml đã đủ đâu.
Cứ nhìn mấy job DA, DE ở intermediate trở lên cứ đăng đi đăng lại mãi thì biết.
Không rõ bạn đang có kỹ năng và ứng tuyển vào vị trí nào, nhưng đếm số công ty đã "rải" CV thì không khách quan lắm. Còn xem năng lực và mức độ phù hợp với các vị trí bạn apply ntn nữa.

Chắc qua năm học một khóa của bên bác @thuocdo181 tư vấn tận tình luôn. Hiện e đang phân vân giữa PowerBI và SQL có cần học hết cả 2 không. Công việc hiện tại của e đang làm bên mảng chính là Ecom nên không biết cái nào thực tiễn bổ trợ cho công việc tốt nhất. Chủ yếu làm report, chứ không có ý định chuyển nghành hẳn sang DA do lương hiện tại cũng ngon rồi phấn đấu lên manager phân tích kinh doanh và đưa ra solution là chính.

un-defined said:

Chắc qua năm học một khóa của bên bác @thuocdo181 tư vấn tận tình luôn. Hiện e đang phân vân giữa PowerBI và SQL có cần học hết cả 2 không. Công việc hiện tại của e đang làm bên mảng chính là Ecom nên không biết cái nào thực tiễn bổ trợ cho công việc tốt nhất. Chủ yếu làm report, chứ không có ý định chuyển nghành hẳn sang DA do lương hiện tại cũng ngon rồi

phấn đấu lên manager phân tích kinh doanh và đưa ra solution là chính.

Click to expand...

Nếu phải chọn 1 thì mình chọn SQL nhé, làm report bằng excel thì có thể tìm hiểu thêm Power Query để có flow load data. Nếu có tính toán này nọ thì hẵn mò tới PowerPivot (là PBI trong excel)

Hỏi thêm chút là thím làm ecomm ở đâu mà không dùng SQL vậy

/sau khi nhìn profile: theo mình biết thì bên đó dùng Presto SQL mà, còn dashboard/visualization thì dùng hàng nhà trồng.

đúng mảng em đang quan tâm, cảm ơn thím nhiều.
xuất phát điểm em đang làm Marketing chuyên về brand cho một cty cũng nhớn nhớn nên đang tìm hiểu cái này.

F.Terminator said:

Nếu phải chọn 1 thì mình chọn SQL nhé, làm report bằng excel thì có thể tìm hiểu thêm Power Query để có flow load data. Nếu có tính toán này nọ thì hẵn mò tới PowerPivot (là PBI trong excel)

Hỏi thêm chút là thím làm ecomm ở đâu mà không dùng SQL vậy

/sau khi nhìn profile: theo mình biết thì bên đó dùng Presto SQL mà, còn dashboard/visualization thì dùng hàng nhà trồng.

Click to expand...

Sàn S bác. Thks bác nhé, e bên Operation nên không phải làm thuần data. Chỉ là muốn hỏi cần học thêm gì để bổ trợ cho công việc tốt hơn ấy mà

un-defined said:

Sàn S bác. Thks bác nhé, e bên Operation nên không phải làm thuần data. Chỉ là muốn hỏi cần học thêm gì để bổ trợ cho công việc tốt hơn ấy mà

Click to expand...

Operation team nào thế thím , nếu phấn đấu hàm AM/M thì kêu mấy đứa BI/S&P/Project gì đó trong team nó làm report cho, còn mình đọc số cho các sếp thôi.

/Bên đó hình như dùng nhiều Google Sheet để gửi/nhận data đúng không, thím mà làm được cái flow thì cũng tiện lắm - Power Query có thể kéo Google Sheet về và tổng hợp với các nguồn khác nhé - cơ mà data phải được làm sạch một chút, cái này bắt tay vào mới biết được.

F.Terminator said:

Operation team nào thế thím , nếu phấn đấu hàm AM/M thì kêu mấy đứa BI/S&P/Project gì đó trong team nó làm report cho, còn mình đọc số cho các sếp thôi.

/Bên đó hình như dùng nhiều Google Sheet để gửi/nhận data đúng không, thím mà làm được cái flow thì cũng tiện lắm - Power Query có thể kéo Google Sheet về và tổng hợp với các nguồn khác nhé - cơ mà data phải được làm sạch một chút, cái này bắt tay vào mới biết được.

Click to expand...

Đúng rồi bác GG Sheet là 99% rồi bên này team BI thì làm data là chính còn Dashboard hay report thì tùy từng team hoặc cluster tự kéo số về mà làm có source sẵn luôn. Mà làm nói ra cũng hơi chán thím à, do công việc phân chia hết rồi nên làm tý là hết việc rồi, tính học thêm có gì vọc vạch thêm thì đóng góp cho mau lên chức chứ

Ibrahimovic93 said:

Em đang có 1 project về tự động hóa quy trình báo cáo. Đã xây dựng xong quy trình xử lý dữ liệu tự động trên python. Nhưng sang PBI thì cái python script của nó cùi với chậm quá nên phải chuyển hướng sang extract các dataframe ra 1 folder và hằng ngày vào PBI refresh. Không biết có cách nào để tự động hoàn toàn không phải refresh bằng cơm không các thím nhỉ?
Btw lương DA fresher giờ tầm bao nhiêu vậy các thím, bắt đầu rải cv đi phỏng vấn mà chưa biết vụ lương lậu thế nào.

Click to expand...

cái PBi pro nó tự refresh mà ?

un-defined said:

Chắc qua năm học một khóa của bên bác @thuocdo181 tư vấn tận tình luôn. Hiện e đang phân vân giữa PowerBI và SQL có cần học hết cả 2 không. Công việc hiện tại của e đang làm bên mảng chính là Ecom nên không biết cái nào thực tiễn bổ trợ cho công việc tốt nhất. Chủ yếu làm report, chứ không có ý định chuyển nghành hẳn sang DA do lương hiện tại cũng ngon rồi

phấn đấu lên manager phân tích kinh doanh và đưa ra solution là chính.

Click to expand...

Theo mình nếu bác có thời gian nên học cả 2. Thời gian cũng khá nhanh nên học để mình có thêm lựa chọn khi cần.

Về SQL, nếu bác kết nối được đến CSDL SQL của công ty thì nên học, chủ động lấy được dữ liệu ra từ CSQL mà không cần chờ IT hay DA nó tiện lắm. Ngoài ra SQL giúp mình có tư duy tốt hơn về tổ chức dữ liệu nữa.

Về Power BI, về mặt công cụ, nó sinh ra để làm báo cáo, phân tích dữ liệu nên tiện hơn excel khá nhiều ở khoản tính toán và chia sẻ giữa các người dùng khác nhau. Làm việc trên Power BI visual tiện hơn, mấy phần xử lý tổng hợp dữ liệu tự động với Power Query, tính toán với Data Model mà sau này không dùng có thể mang xuống dùng với Excel.

Còn khóa học thì mình thiết kế để mọi người thực hiện cả quá trình phân tích dữ liệu, coi Power BI là công cụ để thực hành (vì nó học nhanh + phổ biến). Còn sau này vẫn tư duy, cách làm đấy bác làm với excel, gg data studio hay công cụ nào cũng không quá khó.

un-defined said:

Đúng rồi bác GG Sheet là 99% rồi bên này team BI thì làm data là chính còn Dashboard hay report thì tùy từng team hoặc cluster tự kéo số về mà làm có source sẵn luôn. Mà làm nói ra cũng hơi chán thím à, do công việc phân chia hết rồi nên làm tý là hết việc rồi, tính học thêm có gì vọc vạch thêm thì đóng góp cho mau lên chức chứ

Click to expand...

Qua những gì thím tả thì có vẻ nắm chắc Power Query để làm flow data, refresh nhanh report là ổn nhất và mang lại nhiều cải thiện nhất tới công việc hiện tại, vì nếu thím không có access data SQL của công ty - thì học cũng ít có cơ hội áp dụng

Mình cũng hay recommend mọi người hỏi mình "học cái gì" là SQL + Power Query.

Style presentation của một số công ty bây giờ là phang nguyên cái table toàn số vào slide, hoặc screenshot dashboard paste vào, nên nếu thím không phải BI thì việc học PBI để build dashboard mình thấy không thực dụng* cho lắm, xét về công sức cần bỏ ra và lợi ích mang lại ngắn hạn

*Tất nhiên là tùy nhu cầu và tham vọng của thím nữa

/mình từng làm một case kết hợp data từ 3-4 file google sheet khác nhau, tách & làm sạch rồi join với một file csv, tính toán kết quả trả ra excel, bằng Power Query, trước đó team đó làm bằng tay mất cả ngày

//công ty thím thì PBI có vẻ không phổ biến lắm

F.Terminator said:

Qua những gì thím tả thì có vẻ nắm chắc Power Query để làm flow data, refresh nhanh report là ổn nhất và mang lại nhiều cải thiện nhất tới công việc hiện tại

Mình cũng hay recommend mọi người hỏi mình "học cái gì" là SQL + Power Query.

Style presentation của một số công ty bây giờ là phang nguyên cái table toàn số vào slide, hoặc screenshot dashboard paste vào, nên nếu thím không phải BI thì việc học PBI để build dashboard mình thấy không thực dụng* cho lắm, xét về công sức cần bỏ ra và lợi ích mang lại ngắn hạn

*Tất nhiên là tùy nhu cầu và tham vọng của thím nữa

Click to expand...

học Pbi làm cái báo cáo rồi xuất ra PDF gửi đi là được rồi
mấy cái interative thực ra khá là ít dùng

Power Query thực ra rất đơn giản, một trong những công cụ đơn giản mà hiệu quả nhất M$ từng làm ra luôn
nó đơn giản hơn VBA rất nhiều lần mà hiệu quả đem lại là rất lớn

(mỗi tội performance khá kém với lượng dữ liệu lớn)

F.Terminator said:

Qua những gì thím tả thì có vẻ nắm chắc Power Query để làm flow data, refresh nhanh report là ổn nhất và mang lại nhiều cải thiện nhất tới công việc hiện tại, vì nếu thím không có access data SQL của công ty - thì học cũng ít có cơ hội áp dụng

Mình cũng hay recommend mọi người hỏi mình "học cái gì" là SQL + Power Query.

Style presentation của một số công ty bây giờ là phang nguyên cái table toàn số vào slide, hoặc screenshot dashboard paste vào, nên nếu thím không phải BI thì việc học PBI để build dashboard mình thấy không thực dụng* cho lắm, xét về công sức cần bỏ ra và lợi ích mang lại ngắn hạn

*Tất nhiên là tùy nhu cầu và tham vọng của thím nữa

/mình từng làm một case kết hợp data từ 3-4 file google sheet khác nhau, tách & làm sạch rồi join với một file csv, tính toán kết quả trả ra excel, bằng Power Query, trước đó team đó làm bằng tay mất cả ngày

//công ty thím thì PBI có vẻ không phổ biến lắm

Click to expand...

Thks thím đã góp ý, chỗ bôi đậm đúng là quá chuẩn ) nhiều khi nhìn phèn thật mà thấy ai cũng làm kiểu này.