thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)

Mình đã học xong mấy khóa ML, DL và math trên coursera do đợt này công việc đang khá rảnh. Đang tính học thêm khóa full stack deep learning, có vẻ định hướng khóa khá giống khóa của Huyền chip ở trên nhưng có public video dạy, có bác nào học cùng không ?

Định hướng thì mình đổi ngành từ business sang, cũng chỉ thích làm mấy bài mining model liên quan đến business. Đợt trước mình có làm NLP mà thấy chán quá k hợp, cũng k thực sự có hứng thú đi sâu. Mình thích đi sâu mấy bài kiểu forecast, recommendation, customer segmentation... Bản thân mình đi phỏng vấn và nói chuyện với một vài lead DS thì thấy hiện tại có 2 hướng tiếp cận, và người theo mỗi hướng có vẻ sẽ đánh giá ứng viên theo những tiêu chí khác nhau:
  • Kiểu phỏng vấn hỏi rất sâu đến thuật toán, luôn quan tâm xem ứng viên đã từng sử dụng thuật toán gì, có làm deep learning không, xác định DS sẽ tiếp cận yêu cầu qua DA, ngồi chỉ build model và tuning này nọ.
  • Kiểu quan tâm đến critical thinking, cách tiếp cận bài toán, define bài toán, hiểu rõ model dùng để làm gì, xây dựng solution hoàn chỉnh. Không quá hype về Deep learning, hỏi về basic math, rồi use case nhiều hơn.

Cá nhân mình thì ngày trước do dự án đầu tiên mình làm ở vị trí end-user thì khá là fail, không dùng được, dù model đc build bởi những ng khá giỏi về chuyên môn nhưng thiếu domain knowledge, nên cảm thấy hướng 1 nó sai sai. Nhưng người ở hướng 2 mình gặp thì hơi quá extreme, kiểu ứng viên nào nhắc tới deep learning này nọ thì rất bài trừ :)))) Mình thì dù thấy nhiều bài hiện tại deep learning còn chưa quá vượt trội nhưng tương lai thì mình nghĩ deep learning sẽ win hết statistical model và ML model. Mọi người nghĩ sao về vấn đề này? (tất nhiên mình đang nói các bài toán thiên về đến business, k nói về những mảng quá đặc thù như NLP hay computer vision)
Thím giống mình, cũng không có hứng thú với NLP mà thích về forecast và recommendation hơn.
Nếu ở HN thì cafe không thím eii ^^
 
Thím giống mình, cũng không có hứng thú với NLP mà thích về forecast và recommendation hơn.
Nếu ở HN thì cafe không thím eii ^^
Hóng vì cũng quan tâm :D
Em đang học Python để nhảy sang DA mà khóa Python trên Coursera dạy nhanh quá, thấm không kịp luôn
 
Có bác nào có account edu không cho/bán mình 1 cái để đăng ký power BI service với. cái này nó đòi mail work hoặc school.
 
Mới có một bài báo cho biết các job data scientist đang sụt giảm, tăng các job về data engineering.
https://finance.yahoo.com/news/data-science-job-market-shrinking-122300456.html

Tuy nhiên, theo group datascience trên reddit thì nguyên nhân chính là vì trước đây cái tên data scientist bị gán cho hết tất cả job data. Sau này có sự phân hóa rõ ràng hơn về từng chức danh và nhiệm vụ, và công ty nhận ra không cần phải trả lương quá cao cho một người chỉ làm data analyst nên bây giờ các job với chức danh data science giảm dần, và tăng dần các chức danh chuyên môn bên data hơn.
 
Hi các bác, hiện em đang là sv năm 2, dự định hè này apply Resident bên VinAI, có bác nào có kinh nghiệm bên đây rồi có thể tư vấn cho em là phỏng vấn những gì và có yêu cầu phụ gì thêm không ạ, background của em thì em học CS ở UIT và theo hướng Computer Vision, điểm tb hiện tại thì đang là 8.7 ạ , em có tham gia vào các dự án với các thầy bên khoa từ năm nhất nên cơ bản là có xí kinh nghiệm :). Em xin cảm ơn ạ.
 
đang hí hoáy ngồi gõ sql bất chợt nghe vang vọng từ xa dân tình đang thảo luận sôi sổi, nào là ML, AI ... tối về mở lại film ex-machina càng thấy phấn khích hơn & muốn mình trở thành anh chàng Oscar Issac, lên web down về ngay quyển AI để vọc ngay cho nóng, cơ mà đời ko như mơ, vừa lướt qua được đoạn Intro là thấy đầu óc choáng váng với vô số kí hiệu lạ lẫm như đang nhảy múa trêu ngươi mình ...

Capture.PNG

??? ...

Ước chi ngày tôi còn cắp sách đến trường, Doraemon xuất hiện nhắc tôi biết tương lai AI sẽ thịnh nên chú tâm vào học, ước gì tôi vẫn còn gặp lại thầy giáo năm xưa để có thể được ngây dại hỏi về những bài tập ... ước gì ... à mà thôi tôi gõ sql tiếp đây, khách hàng đang thúc đít
 
đang hí hoáy ngồi gõ sql bất chợt nghe vang vọng từ xa dân tình đang thảo luận sôi sổi, nào là ML, AI ... tối về mở lại film ex-machina càng thấy phấn khích hơn & muốn mình trở thành anh chàng Oscar Issac, lên web down về ngay quyển AI để vọc ngay cho nóng, cơ mà đời ko như mơ, vừa lướt qua được đoạn Intro là thấy đầu óc choáng váng với vô số kí hiệu lạ lẫm như đang nhảy múa trêu ngươi mình ...

View attachment 405043
??? ...

Ước chi ngày tôi còn cắp sách đến trường, Doraemon xuất hiện nhắc tôi biết tương lai AI sẽ thịnh nên chú tâm vào học, ước gì tôi vẫn còn gặp lại thầy giáo năm xưa để có thể được ngây dại hỏi về những bài tập ... ước gì ... à mà thôi tôi gõ sql tiếp đây, khách hàng đang thúc đít

cái ct tích phân đó có gì mà sợ bác :(:(

Gửi từ Sony G8142 bằng vozFApp
 
Làm gì mà phải đùa nhau vậy, tích phân ở VN thì học cấp 3 là biết rồi
Mà làm sql hay bất kỳ cái gì ngoài AI cũng hay cả. AI nghe sang mồm thế thôi chứ expert về databases thì tiền xài sao cho hết :sexy_girl:
 
Làm gì mà phải đùa nhau vậy, tích phân ở VN thì học cấp 3 là biết rồi
Mà làm sql hay bất kỳ cái gì ngoài AI cũng hay cả. AI nghe sang mồm thế thôi chứ expert về databases thì tiền xài sao cho hết :sexy_girl:
em làm mấy thứ lăn tăn support khách thôi mà, kiểu như ngày hôm qua doanh thu nhiêu, được nhiêu khách ...
 
đang hí hoáy ngồi gõ sql bất chợt nghe vang vọng từ xa dân tình đang thảo luận sôi sổi, nào là ML, AI ... tối về mở lại film ex-machina càng thấy phấn khích hơn & muốn mình trở thành anh chàng Oscar Issac, lên web down về ngay quyển AI để vọc ngay cho nóng, cơ mà đời ko như mơ, vừa lướt qua được đoạn Intro là thấy đầu óc choáng váng với vô số kí hiệu lạ lẫm như đang nhảy múa trêu ngươi mình ...

View attachment 405043
??? ...

Ước chi ngày tôi còn cắp sách đến trường, Doraemon xuất hiện nhắc tôi biết tương lai AI sẽ thịnh nên chú tâm vào học, ước gì tôi vẫn còn gặp lại thầy giáo năm xưa để có thể được ngây dại hỏi về những bài tập ... ước gì ... à mà thôi tôi gõ sql tiếp đây, khách hàng đang thúc đít
Bác đang làm SQL developer à? Mình cũng đang định đi theo hướng đó. Ngành SQL developer chỉ cần chuyên về SQL thôi hả bác? Có cần ngôn ngữ nào khác không? Công việc thường là viết database hay thế nào? Nhờ bác khai sáng giúp.

Bây giờ Data science yêu cầu cao quá, Data scientist thì cần Master, PhD; còn Data Analyst thì bây giờ cũng prefer Master rồi. Mấy người tuyển dụng còn nói là vừa đăng tuyển job là có 200 hồ sơ nộp ngay ngày đầu tiên, mà đa số là Master, nên Bachelor mà mới ra trường thì khó có cơ hội.(Đang nói ở Mỹ, các bạn ở VN đừng vội lo lắng.)

Các công ty bây giờ có công thức xây dựng team là 5 DE + 2 DA để tạo database phục vụ cho 1 DS. Nên mình tính chuyển qua DE với hi vọng nhiều việc và dễ vô hơn. Không biết SQL developer với Data engineering có gì giống nhau không? Nhưng thấy top 3 ngôn ngữ có SQL thì cũng muốn học vì mình thích làm việc với database.
 
Bác đang làm SQL developer à? Mình cũng đang định đi theo hướng đó. Ngành SQL developer chỉ cần chuyên về SQL thôi hả bác? Có cần ngôn ngữ nào khác không? Công việc thường là viết database hay thế nào? Nhờ bác khai sáng giúp.

Bây giờ Data science yêu cầu cao quá, Data scientist thì cần Master, PhD; còn Data Analyst thì bây giờ cũng prefer Master rồi. Mấy người tuyển dụng còn nói là vừa đăng tuyển job là có 200 hồ sơ nộp ngay ngày đầu tiên, mà đa số là Master, nên Bachelor mà mới ra trường thì khó có cơ hội.(Đang nói ở Mỹ, các bạn ở VN đừng vội lo lắng.)

Các công ty bây giờ có công thức xây dựng team là 5 DE + 2 DA để tạo database phục vụ cho 1 DS. Nên mình tính chuyển qua DE với hi vọng nhiều việc và dễ vô hơn. Không biết SQL developer với Data engineering có gì giống nhau không? Nhưng thấy top 3 ngôn ngữ có SQL thì cũng muốn học vì mình thích làm việc với database.
E là câu trả lời của em ko giúp ích được gì nhiều cho bác đâu, em bên mảng nhà hàng ks, db đúng là sql server thật, còn report dùng crystal, trước cũng hay đi triển khai mà giờ dịch giã tràn lan nên remote trường kỳ, bản thân phần mềm có sẵn bộ báo cáo mà mấy boss ít khi mó tới + lính mới tuyển về sau này nên thỉnh thoảng liên hệ nhờ mình lấy dữ liệu giùm (đôi lúc sửa lại xíu cho có con số hợp lý mấy cán bộ)
 
E là câu trả lời của em ko giúp ích được gì nhiều cho bác đâu, em bên mảng nhà hàng ks, db đúng là sql server thật, còn report dùng crystal, trước cũng hay đi triển khai mà giờ dịch giã tràn lan nên remote trường kỳ, bản thân phần mềm có sẵn bộ báo cáo mà mấy boss ít khi mó tới + lính mới tuyển về sau này nên thỉnh thoảng liên hệ nhờ mình lấy dữ liệu giùm (đôi lúc sửa lại xíu cho có con số hợp lý mấy cán bộ)
Cám ơn bác đã trả lời, thật sự thông tin của bác rất hữu ích.

Vì mình chưa hiểu rõ công việc SQL có gì khác với các job IT như software, data analyst, công cụ mà các công ty dùng là gì... Cho nên những gì bác chia sẻ cũng là những thông tin mình cần để biết cần học thêm cái gì sau này. Cám ơn bác nhé. :love:
 
Bác đang làm SQL developer à? Mình cũng đang định đi theo hướng đó. Ngành SQL developer chỉ cần chuyên về SQL thôi hả bác? Có cần ngôn ngữ nào khác không? Công việc thường là viết database hay thế nào? Nhờ bác khai sáng giúp.

Bây giờ Data science yêu cầu cao quá, Data scientist thì cần Master, PhD; còn Data Analyst thì bây giờ cũng prefer Master rồi. Mấy người tuyển dụng còn nói là vừa đăng tuyển job là có 200 hồ sơ nộp ngay ngày đầu tiên, mà đa số là Master, nên Bachelor mà mới ra trường thì khó có cơ hội.(Đang nói ở Mỹ, các bạn ở VN đừng vội lo lắng.)

Các công ty bây giờ có công thức xây dựng team là 5 DE + 2 DA để tạo database phục vụ cho 1 DS. Nên mình tính chuyển qua DE với hi vọng nhiều việc và dễ vô hơn. Không biết SQL developer với Data engineering có gì giống nhau không? Nhưng thấy top 3 ngôn ngữ có SQL thì cũng muốn học vì mình thích làm việc với database.
DE nó là job title. SQL nó là tool / lang.
DE thường đi từ dev back-end lên. Tuỳ vào size của cty mà công việc của DE cũng khác nhau.
Cty to, có team data rồi thì công việc phần lớn là dựng hệ thống, dựng pipeline, móc nối data, modeling, .... hỗ trợ DA, DS
Cty chưa có team data thì thường phải làm tất cả mọi việc. Từ việc kiếm data, dựng hệ thống, làm report tới build model.
Còn ngôn ngữ thì SQL là cái bắt buộc phải biết khi làm DE. Tất nhiên là không cần tới level của DB Admin nhưng cũng phải tầm 50-60%.

Thêm chi bạn cái roadmap để hình dung
https://github.com/datastacktv/data-engineer-roadmap

via theNEXTvoz for iPhone
 
Bác đang làm SQL developer à? Mình cũng đang định đi theo hướng đó. Ngành SQL developer chỉ cần chuyên về SQL thôi hả bác? Có cần ngôn ngữ nào khác không? Công việc thường là viết database hay thế nào? Nhờ bác khai sáng giúp.

Bây giờ Data science yêu cầu cao quá, Data scientist thì cần Master, PhD; còn Data Analyst thì bây giờ cũng prefer Master rồi. Mấy người tuyển dụng còn nói là vừa đăng tuyển job là có 200 hồ sơ nộp ngay ngày đầu tiên, mà đa số là Master, nên Bachelor mà mới ra trường thì khó có cơ hội.(Đang nói ở Mỹ, các bạn ở VN đừng vội lo lắng.)

Các công ty bây giờ có công thức xây dựng team là 5 DE + 2 DA để tạo database phục vụ cho 1 DS. Nên mình tính chuyển qua DE với hi vọng nhiều việc và dễ vô hơn. Không biết SQL developer với Data engineering có gì giống nhau không? Nhưng thấy top 3 ngôn ngữ có SQL thì cũng muốn học vì mình thích làm việc với database.
Mình đang làm SQL dev đây, trả lời câu hỏi giúp bác, thì cv hằng ngày của mình là viết, chỉnh sửa stored procedures. Nên bác chỉ cần nắm chắc T-SQL là làm ngon rồi, không cần biết ngôn ngữ khác, ( biết thì càng tốt để hiểu được cách nó làm việc với DB). Nói chung chung vậy chứ đụng vào thực tế có những SP rất phức tạp. Bác cần hỏi cụ thể thì ib e chia sẻ thêm
 
Mình đang làm SQL dev đây, trả lời câu hỏi giúp bác, thì cv hằng ngày của mình là viết, chỉnh sửa stored procedures. Nên bác chỉ cần nắm chắc T-SQL là làm ngon rồi, không cần biết ngôn ngữ khác, ( biết thì càng tốt để hiểu được cách nó làm việc với DB). Nói chung chung vậy chứ đụng vào thực tế có những SP rất phức tạp. Bác cần hỏi cụ thể thì ib e chia sẻ thêm
Bác làm bên nào ấy nhỉ? Em nghe job quen quen giống công việc của vợ em làm IT ngân hàng. Suốt ngày thấy ngồi mân mê mấy cái hệ thống report. Trước gạ hắn nhảy ra ngoài làm nhưng thực sự thấy hắn không đủ kinh nghiệm mà nhảy ra làm việc khác :byebye:

via theNEXTvoz for iPhone
 
Bác làm bên nào ấy nhỉ? Em nghe job quen quen giống công việc của vợ em làm IT ngân hàng. Suốt ngày thấy ngồi mân mê mấy cái hệ thống report. Trước gạ hắn nhảy ra ngoài làm nhưng thực sự thấy hắn không đủ kinh nghiệm mà nhảy ra làm việc khác :byebye:

via theNEXTvoz for iPhone
Chắc là khác job của vợ bác rồi, job vợ bác có thể là reporting, viết query sql để lấy data về làm report, còn bên e là viết code T-SQL để bên back end gọi stored connect với database
 
Không biết ở đây có ai làm về Deep Learning mà rành về deploy bằng C++ không, em từng cố tránh mà có vẻ không chạy dc rồi :(
Thật ra hiểu bản chất rồi thì deploy cũng không khó. DL model giống như một đồ thị, node là toán tử và dữ liệu thì stream trên cạnh. Để deploy một models thì có vài vấn đề sau:

  • Graph computing framework (GCF): cái này hầu hết các ông lớn đã support: tensorflow, tensorRT, openvino, onnx runtime... Tất cả mấy framework này đều là GCF, user chỉ cần define graph, còn execute thế nào framework sẽ lo hết. Tất nhiên phải hiểu rõ cái model của mình, vì sau khi tính toán xong thì framework nó cũng chỉ output ra một tensor thôi, interpret cái tensor ấy thế nào để ra kết quả thì dev phải hiểu rõ model của mình rồi tự làm.
  • Định nghĩa đồ thị: Cái này đôi khi khá đau đầu. Định dạng đồ thị của mỗi framework là khác nhau, nên cần chuyển đổi qua lại (e.g. train = tensorflow, deploy = onnx). Thật ra mỗi framework đều support tool chuyển đổi (nếu đào sâu thì tự viết cũng được - dùng các package python như networkx, graphsurgeon để modify đồ thị). Tuy nhiên, vấn đề đau đầu nhất là cái sau đây.
  • Support operators: ví dụ train = tensorflow, deploy = tensorrt, nhưng có những operator support trong tensorflow nhưng không support trong tensorrt. Lúc ấy chỉ còn cách tự viết cái operator ấy (các framework hầu hết đều có một operator interface để user extend và tự định nghĩa operator). Viết một operator trên CPU thì còn đỡ, chứ để viết operator cho GPU thì đắng lắm. Hồi tôi đi học được A+ môn GPU programming mà tới giờ cũng chưa viết được cái nào ra hồn.

Sơ sơ thì để deploy một model thì là vậy. Phần serving thật ra cũng không khó lắm. Nếu dùng http thì C++ có boost.beast có thể dùng để parse http message khá ok. Dùng grpc thì còn đơn giản hơn nữa. Định nghĩa message rồi gen stub cho cả server lẫn client, không cần lo gì đến định dạng message. Cái tôi thấy khó nhất là:

  • Làm sao tận dụng tốt hardware: muốn tận dụng hết hardware để tăng throughput thì phải tăng batch size, tăng batch size thì lại làm tăng latency --> schedule thế nào cho hợp lý.
  • Làm sao để quản lý được model đang deploy: làm sao để measure độ chính xác, nếu cần update model thì phải làm thế nào... --> đây là cái đau đầu nhất.

Kết: nếu không phải bắt buộc thì thôi khỏi làm, cứ tìm hiểu rồi dùng tfserving ,torch serve ... rồi về lắp vào hệ thống, cần gì đặc biệt thì thêm thắt vào. Nếu làm embedded DL thì chắc chắn sẽ có framework của hardware vendor, đọc kỹ rồi dùng. Không có framework nào hoàn hảo ở thời điểm này cả, nên chắc chắn sẽ có lỗi. DL mới nổi được khoảng chục năm, nên phải xác định sống chung với lũ thôi.
 
Back
Top