thắc mắc Hỏi về data engineer?

vietacoustic · 7/11/22

sirhung1993 đã nói:
Nhiều cty hay mix luôn DE vs DB-admin , nhưng thực tế công việc của DE không chỉ là query từ DB nguồn -> transform -> đổ vào DB đích , mà phân tích thêm đặc tính dữ liệu , read nhiều hay write nhiều ( hoặc hỗn hợp ) , nghiệp vụ cần những gì , có cần thiết phải realtime ko ?

Chỗ này chưa đúng lắm và chưa thấy chỗ nào Mix hai ông này cả. Không thể mix :beat_brick:

DBA giống như ông cài win, ngoài cài win và bấm dây mạng thì có thể sửa ống nước... nhưng xử lý dữ liệu chưa thấy ai kể cả cty nhỏ lẫn bank nhỏ. Cài cắm và config khác hoàn toàn với lập trình. Ngoài ngành cứ nghĩ nó là 1 (IT là biết lập trình, cái này không đúng). DBA có thể ít việc, nhưng đụng việc phải tinh và sâu.
DE có thể và thường biêt một chút về cài cắm, config nhưng ko chuyên. Bản thân hệ thống chứng chỉ về Database của Oracle cũng tách bạch rõ ràng hai cái này.

vietacoustic · 7/11/22

lamtungnew đã nói:
tôi đã học khóa này, khuyên anh em nên cân nhắc kĩ trước khi học, tôi sẽ nhận xét khách quan nhất:

thầy dạy dùng clip quay màn hình của khóa trước rồi live stream bật lại cho học viên xem, thi thoảng có dừng lại hỏi học viên.

Dừng đột ngột khóa học khi số học viên thấp. Nếu 1 buổi học mà tầm 3-4 người học thì dừng cả khóa luôn, ko cần biết mấy người nghỉ có phép hay ko, và cũng ko quan tâm những người đang học sẽ như thế nào.

Tài liệu sắp xếp rất lộn xộn, không khoa học. Tên file đặt lung tung, ko theo tài liệu hướng dẫn, dẫn đến tìm file rất khó khăn.

Ôm đồm kiến thức, cưỡi ngựa xem hoa. Công nghệ gì cũng có nhưng ko cái nào dạy chi tiết

Nếu chát hỏi riêng rất khó khăn, thầy dễ nổi cáu, thái độ. Hỏi tên file trong tài liệu nhưng gắt, mặc dù lỗi do thầy đặt tên file sai.

- Kết luận: rất thất vọng, khuyên anh em ko nên học và cũng ko nên hợp tác trong tương lai

Thời điểm này Data đang trên đỉnh và có dấu hiệu đổ đèo, nhìn vào nhóm cổ phiếu công nghệ Mỹ khá rõ. Ở trong nước ngọn cờ 4.0 cũng xìu đi nhiều, tv báo đài không còn ăng ẳng chuyển đổi số với 4.0 nữa -> học Data khi này liệu có phải lựa chọn đúng? :amazed:

(nhớ về những năm 2010 bank cũng hot trend như Data lúc này).
BĐS đang cho thấy sự tụt dốc thảm hại, dự án mới không có, giao dịch giảm 2/3. Đâu đó đang gần đáy rồi. Vậy học về sale bđs để chuẩn bị cho up trend chẳng phải thông minh sao?
Tự học 1 tháng cơ bản, tháng thứ 2 đăng ký làm cộng tác viên lấy kinh nghiệm. Sang năm sóng yên biển lặng, bank được cấp room tín dụng mới -> bđs lên thì cò bđs ngon hơn Data vạn lần. Tháng bán 2 căn có ngay 40 củ, nếu may mắn và có duyên khéo 7 8 căn là dễ, 150 củ bỏ túi nhẹ nhàng mà ko lo bị trĩ :beauty:

lamtungnew · 7/11/22

vietacoustic đã nói:
Thời điểm này Data đang trên đỉnh và có dấu hiệu đổ đèo, nhìn vào nhóm cổ phiếu công nghệ Mỹ khá rõ. Ở trong nước ngọn cờ 4.0 cũng xìu đi nhiều, tv báo đài không còn ăng ẳng chuyển đổi số với 4.0 nữa -> học Data khi này liệu có phải lựa chọn đúng?(nhớ về những năm 2010 bank cũng hot trend như Data lúc này).
BĐS đang cho thấy sự tụt dốc thảm hại, dự án mới không có, giao dịch giảm 2/3. Đâu đó đang gần đáy rồi. Vậy học về sale bđs để chuẩn bị cho up trend chẳng phải thông minh sao?
Tự học 1 tháng cơ bản, tháng thứ 2 đăng ký làm cộng tác viên lấy kinh nghiệm. Sang năm sóng yên biển lặng, bank được cấp room tín dụng mới -> bđs lên thì cò bđs ngon hơn Data vạn lần. Tháng bán 2 căn có ngay 40 củ, nếu may mắn và có duyên khéo 7 8 căn là dễ, 150 củ bỏ túi nhẹ nhàng mà ko lo bị trĩ

mỗi lĩnh vực có giá trị riêng chứ bạn. So sánh 2 lĩnh vực này là khá khập khiễng. Lĩnh vực data dùng để giải quyết các bài toán về:

mô tả, báo cáo tình hình kinh doanh, hoạt động của tổ chức.
phát hiện hiện tượng mới, bất thường.
dự báo xu hướng.
tự ra quyết định dựa trên data (AI).

Ai cảm thấy hứng thú thì tham gia thôi. Còn nếu so sánh riêng về thu nhập thì tất nhiên làm data thua 1 số ngành khác

vietacoustic · 7/11/22

lamtungnew đã nói:
mỗi lĩnh vực có giá trị riêng chứ bạn. So sánh 2 lĩnh vực này là khá khập khiễng. Lĩnh vực data dùng để giải quyết các bài toán về:

mô tả, báo cáo tình hình kinh doanh, hoạt động của tổ chức.

phát hiện hiện tượng mới, bất thường.

dự báo xu hướng.

tự ra quyết định dựa trên data (AI).

Ai cảm thấy hứng thú thì tham gia thôi. Còn nếu so sánh riêng về thu nhập thì tất nhiên làm data thua 1 số ngành khác

Cái đích đến là cuộc sống ổn định về vật chất, an toàn về tinh thần cho bản thân, sau đó là góp sức làm thịnh vượng đất nước.
Góp ý để anh em đưa ra lựa chọn đúng đắn, ko nhầm đường :amazed:

, chứ nói kiểu ba phải như bạn thì cần gì bàn.
Làm thông hút bể phốt cũng có giá trị riêng, rất riêng và cực có ích cho xã hội. Nhưng chả nhẽ khuyên anh em đi móc cứt hết :ah:

Tùy thời mà tạo thế, data có nhiều lý thú nhưng nó đã ở đỉnh rồi. Theo học cũng 8 tháng, thành nghề cũng 3 năm. Liệu lúc ấy còn gì? Kinh tế đi xuống thì nhu cầu không thiết yếu như công nghệ sẽ bị cắt giảm. Nhìn cổ phiếu công nghệ là rõ.

lon_ton_sai_vat · 7/11/22

lamtungnew đã nói:
tôi đã học khóa này, khuyên anh em nên cân nhắc kĩ trước khi học, tôi sẽ nhận xét khách quan nhất:

thầy dạy dùng clip quay màn hình của khóa trước rồi live stream bật lại cho học viên xem, thi thoảng có dừng lại hỏi học viên.

Dừng đột ngột khóa học khi số học viên thấp. Nếu 1 buổi học mà tầm 3-4 người học thì dừng cả khóa luôn, ko cần biết mấy người nghỉ có phép hay ko, và cũng ko quan tâm những người đang học sẽ như thế nào.

Tài liệu sắp xếp rất lộn xộn, không khoa học. Tên file đặt lung tung, ko theo tài liệu hướng dẫn, dẫn đến tìm file rất khó khăn.

Ôm đồm kiến thức, cưỡi ngựa xem hoa. Công nghệ gì cũng có nhưng ko cái nào dạy chi tiết

Nếu chát hỏi riêng rất khó khăn, thầy dễ nổi cáu, thái độ. Hỏi tên file trong tài liệu nhưng gắt, mặc dù lỗi do thầy đặt tên file sai.

- Kết luận: rất thất vọng, khuyên anh em ko nên học và cũng ko nên hợp tác trong tương lai

Ông admin của trang này hình như bị ban khỏi group Data Jobs in Vietnam trên fb luôn thì phải, thấy khá xàm và khùng.

Dù mình không có chuyên về DE nhưng mà theo dõi trong group cho biết thấy ông Tuan này ko ổn, cách nói chuyện với mọi người cứ như đéo ai biết gì, chỉ mỗi ổng rành nhất

y như rằng bác review ko ra gì thật

@tuanm45 tôi chửi ông dathoc chứ ko phải ông review nhé, trừ khi ông là ông dathoc kia

manebane · 7/11/22

Hiện giờ mình đang sql server dev, mới làm được 3 tháng, chuyển ngang qua ngành cntt. Trước đó mình định theo hướng DA nên học gần 1 năm on/off SQL với Power BI/Excel, SQL cũng tàm tạm.
Lúc đầu vào thì cũng lú lắm, đọc code không hiểu gì, chỉ ngồi đọc về business là chính. May là dự án này nó cũng có doc để mà đọc, xong dần dần cũng đang làm được task thấy vui vui rồi. Đang học thêm về Azure với Bash và C#, cảm thấy nó cũng khá hữu ích cho job hiện giờ.
Theo mình thì cứ start slow thôi, nhiều cái các anh chị trong nghề lâu năm nói có thể ngợp lắm nhưng mình nghĩ không ai expect fresher phải đi biết hết tất cả những công nghệ mà AWS hay Azure nó offer.
Sách thì mình đọc quyển The Data Warehouse Toolkit thấy rất hữu ích, mình khá chắc là nhờ đọc nó xong mà mình pass pv =))

Mặc dù nó cũ rồi nhưng thấy vẫn ứng dụng được cho chỗ hiện tại của mình. Rồi quyển SQL Performance Explained với SQL Antipattern cũng hay.

huy3110 · 8/11/22

Chào các bác. Em tốt nghiệp ĐH chuyên ngành Kế toán và hiện tại em đang làm NV bảo hành cho 1 cty phần mềm kế toán. Hàng ngày e nhận yêu cầu hỗ trợ từ KH, bỏ qua các nghiệp vụ thuần kế toán thì còn lại là em làm việc nhiều với MS SQL Server. Em đang tìm hiểu và muốn chuyển sang ngành data. Trong quá trình tìm hiểu, với background như trên thì đa số các web, page, group, forum.. e đọc thì phù hợp với DA do có base kinh tế. DA thì e thấy k hứng thú với việc làm report cho lắm và muốn tìm hiểu DE hơn. Em dự định vừa làm DA vừa học thêm DE nên muốn hỏi cần chuẩn bị những kiến thức, kỹ năng gì trước? Cảm ơn các bác

sirhung1993 · 8/11/22

vietacoustic đã nói:
Chỗ này chưa đúng lắm và chưa thấy chỗ nào Mix hai ông này cả. Không thể mix

DBA giống như ông cài win, ngoài cài win và bấm dây mạng thì có thể sửa ống nước... nhưng xử lý dữ liệu chưa thấy ai kể cả cty nhỏ lẫn bank nhỏ. Cài cắm và config khác hoàn toàn với lập trình. Ngoài ngành cứ nghĩ nó là 1 (IT là biết lập trình, cái này không đúng). DBA có thể ít việc, nhưng đụng việc phải tinh và sâu.

DE có thể và thường biêt một chút về cài cắm, config nhưng ko chuyên. Bản thân hệ thống chứng chỉ về Database của Oracle cũng tách bạch rõ ràng hai cái này.

Không phải cty nào cũng có team riêng cho hạ tầng ( SysAdmin / DBA) .
Với mình thì khi dùng các DB mà team SysAdmin chưa đụng bao giờ, thì việc tự config là bình thường ( hoặc guide SysAdmin cách config) . Ví dụ như là Cassandra , Neo4j .

Việc DE kiêm luôn DBA ( hoặc đã kiêm nhưng ko nhận ra ) là có

. DBA thường là trong team vs đội SysAdmin / hạ tầng luôn. Mà ngay trong team SysAdmin cũng phân hóa ra nhiều title lắm . Mà đừng nhầm lẫn với ITHelpdesk vs SysAdmin / DBA .

Các bạn SysAdmin có thể kiêm luôn DevOps , hỗ trợ DE làm CI/CD vs SLI/SLO . Khá nhiều thứ hay ho

lamtungnew · 8/11/22

Mình đang làm Java Developer, mình đang tự học DE nên định tìm 1 công việc về Java backend dev ở 1 công ty làm về data, rồi sau đó mình sẽ vừa làm vừa học dần dần trong công ty đó. Ae thấy hướng của mình thế nào? Mình đã nộp CV vào Vin Bigdata và Vin AI nhưng chưa thấy phản hồi, ae biết công ty nào có mảng data chỉ mình với

lamtungnew · 8/11/22

Nhân tiện giới thiệu ae cuốn sách mình đã đọc về big data. Đọc xong anh em có thể hiểu những đặc thù, tính chất công việc, những giá trị mà ngành này mang lại. Ae sẽ có thêm động lực, đam mê với ngành và có khi là những ý tưởng mới trong công việc. Mình mua cả bản cứng và pdf để đọc

vietacoustic · 8/11/22

sirhung1993 đã nói:
Không phải cty nào cũng có team riêng cho hạ tầng ( SysAdmin / DBA) .
Với mình thì khi dùng các DB mà team SysAdmin chưa đụng bao giờ, thì việc tự config là bình thường ( hoặc guide SysAdmin cách config) . Ví dụ như là Cassandra , Neo4j .

Việc DE kiêm luôn DBA ( hoặc đã kiêm nhưng ko nhận ra ) là có . DBA thường là trong team vs đội SysAdmin / hạ tầng luôn. Mà ngay trong team SysAdmin cũng phân hóa ra nhiều title lắm . Mà đừng nhầm lẫn với ITHelpdesk vs SysAdmin / DBA .

Các bạn SysAdmin có thể kiêm luôn DevOps , hỗ trợ DE làm CI/CD vs SLI/SLO . Khá nhiều thứ hay ho

Ý thứ 2 tôi đã đồng ý với bạn từ đầu, DE có thể kiêm thêm DBA.
Nhưng DBA kiêm DE thì từ bank đến, Enterprise đều chưa gặp. Skills set cũng khác nhau hoàn toàn. Hạ tầng(System, Network, DBA) bạn tìm kiếm trên VNW nó cũng tách riêng ra không thuộc line phần mềm. Hệ thống chứng chỉ cũng khác.
Tôi không nhầm lẫn IT Helpdesk với system nhưng phần lớn đội ấy chung một phòng. DE, DA, DS ko chung phòng với team system.

sirhung1993 · 8/11/22

vietacoustic đã nói:
Ý thứ 2 tôi đã đồng ý với bạn từ đầu, DE có thể kiêm thêm DBA.
Nhưng DBA kiêm DE thì từ bank đến, Enterprise đều chưa gặp. Skills set cũng khác nhau hoàn toàn. Hạ tầng(System, Network, DBA) bạn tìm kiếm trên VNW nó cũng tách riêng ra không thuộc line phần mềm. Hệ thống chứng chỉ cũng khác.
Tôi không nhầm lẫn IT Helpdesk với system nhưng phần lớn đội ấy chung một phòng. DE, DA, DS ko chung phòng với team system.

Nếu dùng hàng của MSSQL , thì bản thân con DB nó đã có những tính năng chạy job / task . Tương tự như Procedure .

Với MSSQL thì nhiều DBA viết luôn transform với cái SSIS
Thế DBA có kiêm luôn DE ko bạn

vietacoustic · 8/11/22

sirhung1993 đã nói:
Nếu dùng hàng của MSSQL , thì bản thân con DB nó đã có những tính năng chạy job / task . Tương tự như Procedure .

Với MSSQL thì nhiều DBA viết luôn transform với cái SSIS
Thế DBA có kiêm luôn DE ko bạn

Nhiều thật không bạn? Nếu nói cảm tính vậy thì chịu, kiểu như bạn nói cứt có thể ăn được và bạn đã thấy nhiều người ăn cứt hay bạn thấy nhiều người vừa làm thông hút bể phốt vừa làm Data Scientist thì tôi dừng tranh luận :canny:

.
Còn về hàng gì thì cũng có tính năng như bạn nói cả(hãng cùng cỡ).

manebane · 8/11/22

Mình xem video của ông này thì thấy bảo là tùy công ty, nhiều công ty tài nguyên giới hạn thì thậm chí DA cũng phải làm việc DS hay cả DE.
Mình quen thằng em title DA công ty game nhưng nhớ là nó bảo làm luôn việc của DE, nhưng mà thu nhập 5 tỷ 1 năm =))

Miracle-- · 12/11/22

Who_Am_I_? đã nói:
Hi bro,
Mình nghĩ nếu bro muốn có 1 khóa học cho người mới bắt đầu muốn tìm hiểu DE thì bro có thể học thử ở datacamp xem sao , hoặc rủ người nào đó hùn mua chung acc cũng được
Mình thì có làm Data Engineer được khoảng 5 năm , nếu các bro muốn tư vấn có thể ib vùng kín nhé
P.s Công việc cũng bận nên mình cũng ko hay lên voz được , nên mình chỉ hứa sẽ trả lời sớm nhất nha bro
Chúc các bro may mắn

bác có thể cho e xin 1 vài lời khuyên đc ko ? mặc dù có khá là nhiều người tư vấn cho rồi , thậm chí là sắp tới đi thực tập còn có người giới thiệu cho mà vẫn sợ ko làm được gì quá :'( , tự học thực sự rất là bị rối và mông lung

PCDat @_@! · 13/11/22

Miracle-- đã nói:
bác có thể cho e xin 1 vài lời khuyên đc ko ? mặc dù có khá là nhiều người tư vấn cho rồi , thậm chí là sắp tới đi thực tập còn có người giới thiệu cho mà vẫn sợ ko làm được gì quá :'( , tự học thực sự rất là bị rối và mông lung

Bác thực tập ở cty nào thế, em tìm thực tập data engineer mà hiếm thấy quá

Gửi từ Vsmart Live bằng vozFApp

the_ruler · 13/11/22

sirhung1993 đã nói:
Nếu dùng hàng của MSSQL , thì bản thân con DB nó đã có những tính năng chạy job / task . Tương tự như Procedure .

Với MSSQL thì nhiều DBA viết luôn transform với cái SSIS
Thế DBA có kiêm luôn DE ko bạn

Đang làm DE kiêm luôn cả devops, dba luôn nè bạn ơi. Có phải ở đâu cũng đủ to để tách role riêng đâu

via theNEXTvoz for iPhone

codeforfood2015 · 14/11/22

the_ruler đã nói:
Đang làm DE kiêm luôn cả devops, dba luôn nè bạn ơi. Có phải ở đâu cũng đủ to để tách role riêng đâu

via theNEXTvoz for iPhone

Còn thiếu data ops nữa chứ

)
Tự làm, tự triển khai, tự vận hành, tự tối ưu

the_ruler · 14/11/22

codeforfood2015 đã nói:
Còn thiếu data ops nữa chứ )
Tự làm, tự triển khai, tự vận hành, tự tối ưu

Uhm, thực ra là dataops nhưng do bên infra (cloud) không join mà chỉ ném acc cho nên làm provisioning luôn, cũng không khác devops là mấy.
DBA thì không quá sâu nhưng setup, quản trị, moniotring dwh luôn.
Trước làm ở cty nhỏ hơn thì còn phải cân luôn reporting, code các service luôn

via theNEXTvoz for iPhone

Miracle-- · 14/11/22

PCDat @_@! đã nói:
Bác thực tập ở cty nào thế, em tìm thực tập data engineer mà hiếm thấy quá

Gửi từ Vsmart Live bằng vozFApp

VNPT đang tuyển đó bác

thắc mắc Hỏi về data engineer?

Senior Member

Senior Member

Junior Member

Senior Member

Đã tốn tiền

Senior Member

Junior Member

Người qua đường

Junior Member

Junior Member

Senior Member

Người qua đường

Senior Member

Senior Member

Senior Member

Junior Member

Đã tốn tiền

Senior Member

Đã tốn tiền

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này