thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)

thím cho mình hỏi là mảng sentiment analysis có nhiều cty tuyển và yêu cầu cao không thím
mình học đang vì sở thích là chính :D

Cái này thì mình ko rõ. Bạn nào rõ sẽ trời lời bạn. Nhưng có 1 dạo, cách đây mấy năm mình thấy có cty làm về Market Research, Social Listening nó đăng tuyển, nói chung ngành này cũng còn mới, số cty làm về mấy cái này cũng ít, yêu cầu thì nhiều khi nó để trên trời chứ bản thân người tuyển cũng non kinh nghiệm, muốn đú trend nên muốn tuyển được expert về gầy dựng team luôn. Tất nhiên mấy cty có số mà thật sự như Vin AI thì ko nói.
 
mình đang học dở khóa ibm data science tren cousera có 9 môn mình còn 2 môn cuối ML vs capstone nữa là hoàn thành mà phần toán ML hơi ngộp đầu chắc do chục năm rồi không học mấy cái ký hiệu toán cũng không nhớ chứ hồi xưa toán thi ĐH các năm thì bài nào cũng làm được hết tính ra cũng không dốt toán, phần code của thư viện sklearn cũng không tưởng tượng rõ được hết những gì vừa diễn ra đối với dữ liệu làm mình cũng khó chịu. Mình chủ yếu ban đầu học muốn học thử NLP phần phân tích cảm tình mới mò mẫm học DS trên thôi mà NLP chưa học được mấy cả.
SQL học xem hoa, python mình học cũng được cơ bản (Dr. Chuck) + re, chưa học class&object
Mình cũng đang học free khoá này. Thím học free hay mua vậy? Em tò mò muốn xem mấy cái graded quiz để thực hành ấy mà.
 
Đang làm DE và dự tính mình sẽ nhảy sang làm DS.
Stack thì SQL, Python.
Ở đây mấy thím dùng Python code để ETL data build theo OOP hay FP nhỉ (Tuổi thơ mình gắn liền với OOP C#)
Về AI/ML mình có từng làm thử vài model về ML như Clustering Customer dùng K/Means.
Mấy bác code model thì xài theo thư viện hay tự code nhỉ.
À, cho mình xin list book của chủ thớt để mình đọc nha.
 
Last edited:
Hiện tại e đang làm Sql developer, có kinh nghiệm về Excel và VBA, sử dụng tốt Power BI. Đủ để sang DA chiến chưa các bác? Tại background bên kinh tế nên muốn sang DA cho hợp chuyên ngành :p
 
Mình chưa học khóa ML của Andrew Ng, mình toàn đọc sách thôi. Liếc sơ nội dung thì học khóa này xong có thể biết được overview hầu hết các mảng của ML.

Mấy khóa học ML hiện nay đa số nói về các giải thuật ML với cách build model nhưng cái theo mình là fundamental khi bước vào cái nghề này là Statistics. Biết Statistics để giúp làm Data Exploration, Features Selection, Model Validation and Tuning. Build model chỉ chiếm khoảng 20% thôi mấy cái kia mới cần skills và thời gian. Nếu bạn chưa biết Statistics thì bước tiếp theo nên quay lại học Statistics.

Biết Statistics với ML rồi thì bắt đầu chọn 1 hướng trong ML. Ví dụ làm Data, Computer Vision, NLP, Speech Recognition, Automotive... mổi cái này có thể là 1 ngành học, mấy khóa học kia nó giới thiệu overview thôi chứ đi sâu vào là cả 1 bầu trời. => Chọn hướng muốn đi.

Cuối cùng, như bao thứ khác, chỉ có practice thôi. Chưa làm dự án thật thì lên Kaggle join competitions.
Statistics không biết thì đừng học ML làm gì :D, mình cũng đang tìm hiểu môn này nhưng giờ học lại XSTK trước đã.
 
Mình chưa học khóa ML của Andrew Ng, mình toàn đọc sách thôi. Liếc sơ nội dung thì học khóa này xong có thể biết được overview hầu hết các mảng của ML.

Mấy khóa học ML hiện nay đa số nói về các giải thuật ML với cách build model nhưng cái theo mình là fundamental khi bước vào cái nghề này là Statistics. Biết Statistics để giúp làm Data Exploration, Features Selection, Model Validation and Tuning. Build model chỉ chiếm khoảng 20% thôi mấy cái kia mới cần skills và thời gian. Nếu bạn chưa biết Statistics thì bước tiếp theo nên quay lại học Statistics.

Biết Statistics với ML rồi thì bắt đầu chọn 1 hướng trong ML. Ví dụ làm Data, Computer Vision, NLP, Speech Recognition, Automotive... mổi cái này có thể là 1 ngành học, mấy khóa học kia nó giới thiệu overview thôi chứ đi sâu vào là cả 1 bầu trời. => Chọn hướng muốn đi.

Cuối cùng, như bao thứ khác, chỉ có practice thôi. Chưa làm dự án thật thì lên Kaggle join competitions.
Theo thím thì kỹ năng nên có trước rồi đi tìm bài toán để giải quyết hay bài toán có trước rồi mới học kỹ năng để giải quyết nó?
 
thím cho mình hỏi là mảng sentiment analysis có nhiều cty tuyển và yêu cầu cao không thím
mình học đang vì sở thích là chính :D
Có, tam đại anh hào viễn thông anh nào cũng tuyển, nhưng sentiment analyst khó bỏ mịa ra, có thể nói cực nhất trong NLP :shame: :shame:
 
:D , có ios giờ bắt đầu lại dengineer hoặc dscientist bao lâu thím , cái nào ngon trong 5 năm nữa
Kỹ năng làm software sẽ giúp học tech với code nhanh hơn nhưng cái nghề này đòi hỏi học lý thuyết nhiều, muốn có kiến thức cho tươm tất thì mất khoảng 2 năm. Cài nào ngon thì tùy skills, giống như hỏi làm web hay mobile ngon hơn thì anh nào skills tốt thì anh đó ngon thôi.

Bao giờ machine reasoning lên ngôi nhỉ các thím
Còn lâu lắm vì cái này đụng tới bài toán về General Purpose AI.

Đang làm DE và dự tính mình sẽ nhảy sang làm DS.
Stack thì SQL, Python.
Ở đây mấy thím dùng Python code để ETL data build theo OOP hay FP nhỉ (Tuổi thơ mình gắn liền với OOP C#)
Về AI/ML mình có từng làm thử vài model về ML như Clustering Customer dùng K/Means.
Mấy bác code model thì xài theo thư viện hay tự code nhỉ.
À, cho mình xin list book của chủ thớt để mình đọc nha.
Dùng cái nào thì tùy vào yêu cầu bài toán, nhưng theo mình vẫn là dùng những cái cơ bản, đơn giản nhất, khi ko đáp ứng dc thì mới lên phức tạp. ETL thì đôi khi ko cần viết tool mà chỉ cần viết 1 số script, batch jobs cũng được. Ngày xưa thì mình dùng C# code tool, hiện tại dùng python vì muốn đồng bộ tech stack thôi, và nói chính xác thì mình code theo hướng procedural.

Code model đa số xài thư viện: sklearn, tensorflow, pytorch... build model cái chính là feature engineering, feature selection, model tuning and validation. Các giải thuật ML người ta đã code sẵn hết rồi. Còn muốn tạo ra cái các thư viện mới, custom mấy cái mà ví dụ thằng tensorflow nó ko đáp ứng được thì đây là công việc của ML Researcher.

Nói tới đây thế nào chắc cũng vài anh nhảy vào khoe kiến thức giải thuật đao to búa lớn các kiểu blah blah. :shame:

Hiện tại e đang làm Sql developer, có kinh nghiệm về Excel và VBA, sử dụng tốt Power BI. Đủ để sang DA chiến chưa các bác? Tại background bên kinh tế nên muốn sang DA cho hợp chuyên ngành :p
Học lại XSTK, Học thêm 1 công cụ chuyên làm data analysis như SPSS Statistics, 1 ngôn ngữ lập trình như Python. Phần còn lại là practice thôi.

Theo thím thì kỹ năng nên có trước rồi đi tìm bài toán để giải quyết hay bài toán có trước rồi mới học kỹ năng để giải quyết nó?
Ý kiến cá nhân là bài toán có trước rồi đi học các kỹ năng để giải quyết nó. Vì minh phải biết mục tiêu của mình là gì thì mới đi đúng hướng được. Còn nếu ko biết mục tiêu, bài toán muốn giải quyết là gì luôn thì học kỹ năng để có overview tất cả các mảng nhưng đừng đi sâu quá để tránh lan man.

Câu hỏi về vấn đề nằm ở đâu quan trọng hơn câu hỏi làm thế nào để giải quyết vấn đề.
:shame:
 
Kỹ năng làm software sẽ giúp học tech với code nhanh hơn nhưng cái nghề này đòi hỏi học lý thuyết nhiều, muốn có kiến thức cho tươm tất thì mất khoảng 2 năm. Cài nào ngon thì tùy skills, giống như hỏi làm web hay mobile ngon hơn thì anh nào skills tốt thì anh đó ngon thôi.


Còn lâu lắm vì cái này đụng tới bài toán về General Purpose AI.


Dùng cái nào thì tùy vào yêu cầu bài toán, nhưng theo mình vẫn là dùng những cái cơ bản, đơn giản nhất, khi ko đáp ứng dc thì mới lên phức tạp. ETL thì đôi khi ko cần viết tool mà chỉ cần viết 1 số script, batch jobs cũng được. Ngày xưa thì mình dùng C# code tool, hiện tại dùng python vì muốn đồng bộ tech stack thôi, và nói chính xác thì mình code theo hướng procedural.

Code model đa số xài thư viện: sklearn, tensorflow, pytorch... build model cái chính là feature engineering, feature selection, model tuning and validation. Các giải thuật ML người ta đã code sẵn hết rồi. Còn muốn tạo ra cái các thư viện mới, custom mấy cái mà ví dụ thằng tensorflow nó ko đáp ứng được thì đây là công việc của ML Researcher.

Nói tới đây thế nào chắc cũng vài anh nhảy vào khoe kiến thức giải thuật đao to búa lớn các kiểu blah blah. :shame:


Học lại XSTK, Học thêm 1 công cụ chuyên làm data analysis như SPSS Statistics, 1 ngôn ngữ lập trình như Python. Phần còn lại là practice thôi.


Ý kiến cá nhân là bài toán có trước rồi đi học các kỹ năng để giải quyết nó. Vì minh phải biết mục tiêu của mình là gì thì mới đi đúng hướng được. Còn nếu ko biết mục tiêu, bài toán muốn giải quyết là gì luôn thì học kỹ năng để có overview tất cả các mảng nhưng đừng đi sâu quá để tránh lan man.

Câu hỏi về vấn đề nằm ở đâu quan trọng hơn câu hỏi làm thế nào để giải quyết vấn đề.
:shame:
nếu 3 - 6 tháng làm analyst rồi lên engineer được không thím, không biết gì từ đầu học analyst
 
Cái này thì mình ko rõ. Bạn nào rõ sẽ trời lời bạn. Nhưng có 1 dạo, cách đây mấy năm mình thấy có cty làm về Market Research, Social Listening nó đăng tuyển, nói chung ngành này cũng còn mới, số cty làm về mấy cái này cũng ít, yêu cầu thì nhiều khi nó để trên trời chứ bản thân người tuyển cũng non kinh nghiệm, muốn đú trend nên muốn tuyển được expert về gầy dựng team luôn. Tất nhiên mấy cty có số mà thật sự như Vin AI thì ko nói.
cảm ơn thím, mình nghĩ NLP đòi hỏi kiến thức đa ngành nhất là sentiment analyst, theo mình thấy hiện tại vẫn còn sơ khai lắm, mình enroll vào khóa NLP của deeplearning.ai trên coursera học được w1 thấy giảng cũng dễ hiểu mà bài tập cũng khó nên tạm dừng để học lại math & ML. Như bọn Vin thì chịu già không đú lại với mấy trẻ, tầm tuổi mình chắc chỉ tuyển phd :D
 
Mình cũng đang học free khoá này. Thím học free hay mua vậy? Em tò mò muốn xem mấy cái graded quiz để thực hành ấy mà.
Giám đốc điện lực mà cũng lăn tăn học phí à, thím cứ viết đơn xin hỗ trợ tài chính kêu: sinh viên, thất nghiệp, hoặc đi làm nhưng lương thấp không trả nổi muốn học để đổi đời là coursera nó ok free thôi bên này nó dễ với mấy nước đang phát triển lắm, edx thì nó chỉ hỗ trợ đâu 90%, tra gg vụ này nhé :D
 
R vs SPSS nên học cái nào vậy bác?
So sánh thì nên là R vs Python, R là ngôn ngữ chuyên tính toán thống kê. Python thì general purpose. Khác nhau cơ bản thì nếu ko phải background là coder thì học R dễ hơn. Cả 2 thằng đều là công cụ hỗ trợ phân tích data. Python thì có thể vừa làm Analysis vừa làm development và production.

SPSS, SAS, thậm chí Excel là tool phân tích cho nhanh thôi. Thay vì viết code R, Python để ra các thống kê mình muốn thì dùng mấy cái software này chạy các thống kê cho tiện. Nói chung biết thì tốt ko biết thì lúc cần code python, R cũng dc.

không có bằng đặc thù ngành này có được tuyển k thím
Ngành này bây giờ mới nổi thôi, kiến thức, kinh nghiệm, có cert mấy khoá học cũng dc rồi. Mấy ng tốt nghiệp đại học cách đây chục năm làm software chuyển qua có ai chuyên ngành này đâu. :surrender:

via theNEXTvoz for iPhone
 
không có bằng đặc thù ngành này có được tuyển k thím
Ngành này không cần bằng cấp lắm. Nhưng cần kỹ năng và kinh nghiệm, cần kiến thức ngành - hay còn gọi là domain knowledge.
Không có thì không thể làm.
 
Mình đang có vấn đề này trong việc hiểu cách mà LSTM hay nói rộng hơn la các mô hình RNN hoạt động. Hi vọng có bạn nào hiểu giải thích lại vấn đề này cho mình.

Theo những gì mình đọc, thì mô hình sẽ nhớ "memory" qua mỗi bước thời gian. Khi mình đọc cái này, mình nghĩ mô hình sẽ tự động nhớ tìm các mốc thời gian trước đó trong dataset.
Nhưng khi mình làm thử, thì mình thấy các giá trị trước đó lại được truyền vào model như 1 feature, kiểu như thế này. Cột t thậm chí chỉ có giá trị để sort, chứ thực sự cũng ko truyền vào model.

t (x0)y tại t-1 (x1)y tại t-2 (x2)y
2020-01-019810
2020-01-0210911
2020-01-03111012

Hiện tại thì mình ko thấy nó khác gì với regression cả. Vậy thực sự cái gọi là "memory" ở trong LSTM hay bao quát hơn là trong RNN nó nằm ở đâu? Ý là lúc dựng regression thì nó sẽ ưu tiên các giá trị ở cuối train dataset hơn là ở đầu chăng.

Hiện giờ mình có khá nhiều vấn đề trong việc hiểu cách hoạt động các model deel learning này. Công việc của mình thì ko phải là data scientist, không phải là người implement trực tiếp, nhưng lại cần hiểu tất cả vấn đề ở tầm khái quát. Hi vọng có bác nào rành giải thích giúp mình.
 
Mình có background về lập trình C/C++.
Giờ tính học thêm chuyên về Computer vision.
Ngày trước trong trường có làm đề tài nhỏ dùng openCv nhưng lâu rồi không dùng nên quên hết (cả Toán luôn).
Vì vậy, mấy bác cho mình hỏi hiện tại nên bắt đầu lại từ đâu, học khóa học nào, nếu có certificate thì càng tốt cho sau này nhưng hiện tại chắc học mấy khóa free để lấy lại nền tảng trước.
 
Back
Top