thảo luận [Thảo Luận] Data Analysis, ML, DL, AI (All Levels vào đây chém gió nào)

Có bác nào làm bên DA có kinh nghiệm làm database không? Em thấy dù dùng tool code thế nào thì cái database vẫn là cái quan trọng nhất chiếm hơn 50% rồi.
Em đang phải vật lộn với việc làm data cho team về vật tư, làm thế nào để gọn nhẹ và truy xuất nhanh chóng. File excel mới tầm khoảng 3000 dòng mà nó lag ứ chịu dc. Bác nào có kinh nghiệm làm cái này thì chia sẻ cho em với, trick tips hoặc các nguyên tắc khi làm với cột dòng :adore:

via theNEXTvoz for iPhone
DB thì DE làm chứ, Excel 3000 dòng ít mà sao lag được
 
Có bác nào làm bên DA có kinh nghiệm làm database không? Em thấy dù dùng tool code thế nào thì cái database vẫn là cái quan trọng nhất chiếm hơn 50% rồi.
Em đang phải vật lộn với việc làm data cho team về vật tư, làm thế nào để gọn nhẹ và truy xuất nhanh chóng. File excel mới tầm khoảng 3000 dòng mà nó lag ứ chịu dc. Bác nào có kinh nghiệm làm cái này thì chia sẻ cho em với, trick tips hoặc các nguyên tắc khi làm với cột dòng :adore:

via theNEXTvoz for iPhone
3000 dòng là ít mà bác. Em đang làm gần 100k dòng nè. Vẫn mượt mà :D
 
Mong mn giúp e với ạ. E tự học nên hơi rối ạ. Cái hàm gradient này e theo công thức bên dưới, e tính luôn bằng ma trận. Nhưng sai vì cost nó đi tới + vô cực... E mày mò tính lại bằng tay mà không hiểu sai ở đâu ạ
 

Attachments

  • b.jpg
    b.jpg
    57.9 KB · Views: 111
  • b1.jpg
    b1.jpg
    83.6 KB · Views: 112
  • b2.jpg
    b2.jpg
    102.5 KB · Views: 105
Hiện tại e đang học và biết cơ bản python, SQL, tháng 5 này học xong DWH thì đủ để đi thực tập DE ko các bác :(
 
Topic này lập ra để thảo luận các vấn đề về Data Analysis, Machine Learning, Deep Learning, AI. Mặc dù biết mấy cái này lên Kaggle, Medium, Reddit… người ta bàn nát rồi nhưng cảm giác chém nhau, vật nhau ở Voz nó vui hơn, coi như là chổ để Vozer làm về mấy cái này hay ai có quan tâm, tò mò về nó "giao thông" (giao lưu), dood deed nhau nhé.:big_smile:

Cách hoạt động sẽ là thế này. Mọi người cứ việc đặt câu hỏi, nêu vấn đề, ai biết thì trả lời. Vấn đề nào thú vị, hấp dẫn sẽ lôi ra vật nhau, vật chán thì qua vấn đề khác. Đặc biệt, tất cả levels đều khuyến khích tham gia nên đừng ngại đặt câu hỏi từ đơn giản như "Machine Learning là cái quái gì? Nó có ăn được không? Sao dạo này hot thế?". Tới các câu hỏi chuyên về các giải thuật phức tạp hay competitions trên Kaggle. :sweet_kiss:

Tạm thời đặt gạch trước, để xem có ai quan tâm không.
:shame::shame::shame:
Em mới học xong khoá DeepLearning trên cousera. Giờ đang tính là một vài cái project nhỏ để apply đi thực tập. Có bác nào có gợi ý gì không.

via theNEXTvoz for iPhone
 
Có ai đang làm DE k cho mình hỏi chút. Thấy thằng bạn mình làm bên vịt teo bảo dùng Scala/Spark nhiều và nó bảo giống Java hơn là Python. H mình đang đăng kí 1 khóa học DE ở 1 trung tâm thì họ chỉ dạy Python là ngôn ngữ cơ bản bắt đầu thôi. Ngoài ra mình thấy cứ nhắc đến Data thì mng đều bảo học Python làm cơ sở là sao nhỉ? Từ bên kinh tế nhảy sang nên cx hơi hoang mang
bác học trung tâm nào thế, share ae lộ trình được không bác XD
 
Có ai đang làm DE k cho mình hỏi chút. Thấy thằng bạn mình làm bên vịt teo bảo dùng Scala/Spark nhiều và nó bảo giống Java hơn là Python. H mình đang đăng kí 1 khóa học DE ở 1 trung tâm thì họ chỉ dạy Python là ngôn ngữ cơ bản bắt đầu thôi. Ngoài ra mình thấy cứ nhắc đến Data thì mng đều bảo học Python làm cơ sở là sao nhỉ? Từ bên kinh tế nhảy sang nên cx hơi hoang mang
Tùy, thường on-prem DB như Oracle thì DE sẽ phải học Procedure, T-SQL ....

Nếu dùng Cloud DB thì thường hay dùng 1 trung gian để quản lý task như window scheduler, Airflow, Nifi thì những con này có thể tiếp nhận nhiều loại ngôn ngữ, phổ biến nhất là Python vì tích hợp dễ với Airflow. Cao cấp hơn có spark framework or hadoop thì lúc đấy có khả năng dùng scala là lợi thế.
 
bác học trung tâm nào thế, share ae lộ trình được không bác XD
Em học bên funix bác. Nói thật nghe ae ở đây khuyên nh rồi cơ mà không kiếm đc chỗ nào dạy DE á, toàn DA vs DS nên ms phải đâm đầu vào Funix. C nó cho video rồi tự học là chính thôi, thấy tốn tiền vc (coi như bỏ 20 củ lấy cái "đảm bảo đầu ra" của tụi nó thôi). Còn lộ trình bác search khóa học DE trên funix là ra (link). Chủ yếu xoay quanh Python, SQL, sau học thêm Cloud nữa. Mình mớii học xong mấy môn điều kiện thôi (vì bên kinh tế sang k có gốc IT, phải học python cơ bản trc) chưa học vào môn chính nên cx chả nói cụ thể đc cho bác.
 
Em học bên funix bác. Nói thật nghe ae ở đây khuyên nh rồi cơ mà không kiếm đc chỗ nào dạy DE á, toàn DA vs DS nên ms phải đâm đầu vào Funix. C nó cho video rồi tự học là chính thôi, thấy tốn tiền vc (coi như bỏ 20 củ lấy cái "đảm bảo đầu ra" của tụi nó thôi). Còn lộ trình bác search khóa học DE trên funix là ra (link). Chủ yếu xoay quanh Python, SQL, sau học thêm Cloud nữa. Mình mớii học xong mấy môn điều kiện thôi (vì bên kinh tế sang k có gốc IT, phải học python cơ bản trc) chưa học vào môn chính nên cx chả nói cụ thể đc cho bác.
ừ, ngay cả trường ĐH cũng ko dạy, DE toàn mấy ông học SE lên
 
Mong mn giúp e với ạ. E tự học nên hơi rối ạ. Cái hàm gradient này e theo công thức bên dưới, e tính luôn bằng ma trận. Nhưng sai vì cost nó đi tới + vô cực... E mày mò tính lại bằng tay mà không hiểu sai ở đâu ạ
tra google sẽ có link github chứa lời giải của course đang học, hồi trước tui cũng học khóa andrew này, từ khóa ML đến khóa Deep có đủ lời giải trên github đó
 
Em đang tìm intern Data Analyst ở TPHCM mà có vẻ khan hiếm quá, các bác có chỗ nào giới thiệu cho em với ạ :(
 
Back
Top