thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)

bebosua2180 said:

Có ai có acc datacamp ko, cho en xin xài ké, trả tiền phụ ạ

Click to expand...

vào facebook tìm trang Data Meme họ share cho acc datacamp, 40k/tháng

Hi các bác,
Chuyện là em đang làm mirgation từ hệ thống On-Premise(Oracle) sang Azure Cloud(Synapse)
Em đang vướng issue sau mong các bác đưa ra lời khuyên giúp em.
Req đại khái là họ có 1 table và giờ muốn đẩy lên table ở Azure với primary key là RequestId, với từng loại Type thì sẽ được ghi vào column tương ứng.
Nếu bị trùng thì sẽ compare theo điều kiện Sort là nếu column đầu bị trùng thì mình so sánh column tiếp theo, còn nếu tất cả giống nhau thì pick dòng nào cũng được vì data là y như nhau

Em có làm hình demo ở bên dưới cho các bác hình dung data từ table source qua table des nó như thế nào:


Em đang lăng tăn về performance và sau này có chỉnh sửa giữa 2 cách sau:
1. Viết SQL để transform từ lúc query rồi dùng Data flow để Upsert vào Synapse.
2. Query hết table rồi viết thêm logic transform ở Data flow rồi mới Upsert.

Các bác có ý tưởng nào hay cho em tham khảo với.
Mong các bác giúp đỡ.

Các bác cho em hỏi giờ em đang làm front-end React Native muốn chuyển qua Data Engineer thì lộ trình là gì ạ? với có khoá học/trung tâm nào uy tín không ạ? Em chuyên ngành KHMT nên cũng khá chắc Python core và có đá qua về numpy+pandas rồi ạ

Gà Lác said:

Các bác cho em hỏi giờ em đang làm front-end React Native muốn chuyển qua Data Engineer thì lộ trình là gì ạ? với có khoá học/trung tâm nào uy tín không ạ? Em chuyên ngành KHMT nên cũng khá chắc Python core và có đá qua về numpy+pandas rồi ạ

Click to expand...

vợ mình 3 năm React Native lương 40 củ đây, khỏi chuyển qua DE làm gì.
mà RN là Mobile mà nhỉ

khoaikho said:

vợ mình 3 năm React Native lương 40 củ đây, khỏi chuyển qua DE làm gì.
mà RN là Mobile mà nhỉ

Click to expand...

À hiện tại em mới năm cuối ĐH, vẫn đang thực tập RN mà thấy không hợp mobile cho lắm bác ạ, với cả em vẫn chưa chốt được định hướng (ReactNative/DA/DE/Game :v ) nên muốn học từng mảng xem nó ra sao, mong được các bác cứu giúp vụ DE bên trên :v

Đang làm bên Ecommerce muốn chuyển qua làm BI thì nên bắt đầu từ đâu nhờ các thím tư vấn.

un-defined said:

Đang làm bên Ecommerce muốn chuyển qua làm BI thì nên bắt đầu từ đâu nhờ các thím tư vấn.

Click to expand...

làm BI cho E-commerce

khoaikho said:

làm BI cho E-commerce

Click to expand...

Bắt đầu học những gì để làm được cái BI này nhỉ bác, hiện tại e vẫn dùng Excel, GG Sheet này nọ để làm report cho team Lead thấy cũng ổn, mà muốn học sâu hơn để làm về bên phía BI hơn. Cty em thì có team BI (sàn S)

hiếm người vì trên mạng toàn mấy ông khuyên vớ khuyên vẩn, hội khuyên học nhuần nhuyễn xstk chắc chỉ biết tới mô hình từ 2014 về trước, lại còn bảo tập giải leetcode giỏi rồi mới đủ tiêu chuẩn

precision873 said:

hiếm người vì trên mạng toàn mấy ông khuyên vớ khuyên vẩn, hội khuyên học nhuần nhuyễn xstk chắc chỉ biết tới mô hình từ 2014 về trước, lại còn bảo tập giải leetcode giỏi rồi mới đủ tiêu chuẩn

Click to expand...

Ơ cho hỏi chút, thế mô hình sau 2014 là không cần dùng xstk nữa à ?
P/s: Mình lâu ko đọc nên ko rõ :'( , đừng gạch.

hvhvhh said:

Ơ cho hỏi chút, thế mô hình sau 2014 là không cần dùng xstk nữa à ?
P/s: Mình lâu ko đọc nên ko rõ :'( , đừng gạch.

Click to expand...

Các mô hình được áp dụng nhiều và được nói tới (các thể loại neural net) không dựa vào xstk như kiểu regression hay decision trees. 'Dùng' thì có 'dùng' để lý giải cách nó hoạt động nói chung (cho tất cả các loại mô hình), nhưng 'nhuần nhuyễn' là nói quá, thà học đại số tuyến tính có ích hơn

hvhvhh said:

Ơ cho hỏi chút, thế mô hình sau 2014 là không cần dùng xstk nữa à ?
P/s: Mình lâu ko đọc nên ko rõ :'( , đừng gạch.

Click to expand...

ý b đó là sau 2014 dân tình toàn chơi Lego + pretrained model cho nhanh

SG có cty mạnh computer vision không ae, thấy HN dường như tuyển và chuộng món AI hơn

Up

...Batman... said:

Ở VN có công ty nào đang làm mấy bài toán dạng ứng dụng AI vào các vấn đề thực sự thú vị cho một ngành sản xuất nào đó ko nhỉ?
Mấy công ty to loanh quanh làm mấy bài giao thông, chat bot chăm sóc khách hàng, eKYC... không thấy gì khác biệt và chứng minh khả năng áp dụng của AI vào nâng cao năng suất lao động, tạo lợi thế cạnh tranh nhỉ?
Network của mình nhỏ quá, lại ko có nguồn tin tức để biết mấy thông tin kiểu này.

Click to expand...

Làm mấy cái chán chán anh nói mới đẻ ra tiền chứ mấy cái "thực sự thú vị" kia thì tiền đâu ra. Ngay cả ở big tech như gg hay facebook thì bài toán chính mang lại lợi nhuận vẫn lanh quanh mấy cái quảng cáo/recommend này nọ, về bản chất không khác gì mấy bài chăm sóc khách hàng. Còn mấy bài research mấy thứ trên trời thì họ vẫn làm vì quá dư tiền, chứ nó không thành business chính được.

tôi biết ở vn có startup làm mấy cái ai cho nông nghiệp hay nuôi trồng này nọ nhưng nói chung mấy cái đấy quá bé, chả thể đẻ ra cái gì lợi nhuận lâu dài được.

erics said:

SG có cty mạnh computer vision không ae, thấy HN dường như tuyển và chuộng món AI hơn

Click to expand...

VinAI chi nhánh SG :v

Apply junior DA/DS ở TPHCM giờ thường deal bao nhiêu cho hợp lý các bác nhỉ?

...Batman... said:

Ở VN có công ty nào đang làm mấy bài toán dạng ứng dụng AI vào các vấn đề thực sự thú vị cho một ngành sản xuất nào đó ko nhỉ?
Mấy công ty to loanh quanh làm mấy bài giao thông, chat bot chăm sóc khách hàng, eKYC... không thấy gì khác biệt và chứng minh khả năng áp dụng của AI vào nâng cao năng suất lao động, tạo lợi thế cạnh tranh nhỉ?
Network của mình nhỏ quá, lại ko có nguồn tin tức để biết mấy thông tin kiểu này.

Click to expand...

trong mùa dịch thì eKYC hái ra tiền đấy ông
bây giờ liệu ông có muốn chạy ra chi nhánh ngân hàng để mở tài khoản nữa không?

dannymai2022 said:

Apply junior DA/DS ở TPHCM giờ thường deal bao nhiêu cho hợp lý các bác nhỉ?

Click to expand...

thiện chí, auto pass thì 25-30 gross
tự tin base tốt cứ 30-35 gross cũng không phải là quá đáng.

còn profile out trình như IMO, HSG quốc gia Toán, ... thì 2k gross min