thắc mắc Hỏi về data engineer?

  • Người tạo chủ đề Người tạo chủ đề vu dai
  • Ngày bắt đầu Ngày bắt đầu
Khi dev hay debug đấy bác:
Dev hay debug thì bác có thể thiết lập môi trường staging độc lập, thường nó sẽ lấy data từ môi trường staging của app. Nếu không có thì bác có thể lấy từ 1 subset của production data, ví dụ lấy 1 tháng/1 năm data chẳng hạn.
 
Khi dev hay debug đấy bác:
Dev thì lấy sub dataset mà chạy chứ méo ai chạy full data production.
Bạn đang kéo log-base CDC hay sao mà tạo ra nhiều file nhỏ?

Thường thì pipeline kiểu này nên thêm 1 bước pos-processing nữa là merge file nhỏ lại thành file lớn rồi drop file nhỏ đi theo từng batch để sau query ad-hoc hoặc import/ transform tiếp sẽ nhanh hơn.
 
Em chào các bác, năm nay em bắt đầu vào năm nhất theo học ngành Hệ thống thông tin của uet, các bác cho em hỏi liệu sinh viên có cơ hội để được đi thực tập nếu em muốn theo DE và tương lai của ngành này được không ạ ?
 
Em chào các bác, năm nay em bắt đầu vào năm nhất theo học ngành Hệ thống thông tin của uet, các bác cho em hỏi liệu sinh viên có cơ hội để được đi thực tập nếu em muốn theo DE và tương lai của ngành này được không ạ ?
Mình nghĩ bạn cứ từ software đi lên cho nó dễ. Lỡ không làm DE được thì về làm SE cũng được. Mình năm 4, kiếm mãi k được job intern DE nên là đi làm java BE :D xong thì giờ cũng vừa xin được intern DE ở công ty khác rồi. Cơ mà nhìn chung mình thấy mảng này tìm việc intern fresher khó lắm.
 
Mình nghĩ bạn cứ từ software đi lên cho nó dễ. Lỡ không làm DE được thì về làm SE cũng được. Mình năm 4, kiếm mãi k được job intern DE nên là đi làm java BE :D xong thì giờ cũng vừa xin được intern DE ở công ty khác rồi. Cơ mà nhìn chung mình thấy mảng này tìm việc intern fresher khó lắm.

Hiện đang có onemount tuyển de dạng intern kìa. Chỗ này hơi toxic với senior nhưng intern thì recommend mạnh nhé. Lứa intern trước từ đầu năm 2022 vào đây đều ngon cả, đến giờ vẫn làm gần như đủ nghỉ ít lắm

Gửi từ Xiaomi M2007J3SG bằng vozFApp
 
Hiện đang có onemount tuyển de dạng intern kìa. Chỗ này hơi toxic với senior nhưng intern thì recommend mạnh nhé. Lứa intern trước từ đầu năm 2022 vào đây đều ngon cả, đến giờ vẫn làm gần như đủ nghỉ ít lắm

Gửi từ Xiaomi M2007J3SG bằng vozFApp
Vâng. Em on board ở bên công ty khác rồi mới thấy cái tin tuyển đấy :(
 
Hi bro,
Mình nghĩ nếu bro muốn có 1 khóa học cho người mới bắt đầu muốn tìm hiểu DE thì bro có thể học thử ở datacamp xem sao , hoặc rủ người nào đó hùn mua chung acc cũng được :D
Mình thì có làm Data Engineer được khoảng 5 năm , nếu các bro muốn tư vấn có thể ib vùng kín nhé
P.s Công việc cũng bận nên mình cũng ko hay lên voz được , nên mình chỉ hứa sẽ trả lời sớm nhất nha bro
Chúc các bro may mắn :byebye:
fen giúp mình với nhé cũng đang chuyển ngành cần 1 mentor định hướng quá
 
Mình nghĩ bạn cứ từ software đi lên cho nó dễ. Lỡ không làm DE được thì về làm SE cũng được. Mình năm 4, kiếm mãi k được job intern DE nên là đi làm java BE :D xong thì giờ cũng vừa xin được intern DE ở công ty khác rồi. Cơ mà nhìn chung mình thấy mảng này tìm việc intern fresher khó lắm.
Bác cũng học httt ạ ? Em thấy mn bảo học httt thì ra vx làm dev được
 
Sao giờ thấy DE toàn tuyển cloud hết vậy dm. K có cty nào có server on permise build sẵn à:(:(. Cty mìnhđang làm là on permise (có phòng máy lạnh các thứ), h muốn nhảy sang 1 cty khác cx on permise mà tìm mãi k thấy. Mình k thích xài cloud vì bị bọn aws trừ oan mất 1 củ nên h bị ám ảnh=((=((
Dù biết xu thế h toàn aws, gcp vs azure các thứ
 
Sao giờ thấy DE toàn tuyển cloud hết vậy dm. K có cty nào có server on permise build sẵn à:(:(. Cty mìnhđang làm là on permise (có phòng máy lạnh các thứ), h muốn nhảy sang 1 cty khác cx on permise mà tìm mãi k thấy. Mình k thích xài cloud vì bị bọn aws trừ oan mất 1 củ nên h bị ám ảnh=((=((
Dù biết xu thế h toàn aws, gcp vs azure các thứ
em thấy bên bank or Viettel vẫn toàn on premise mà :D Cơ mà đúng em làm cty bé bé mới mới thì full cloud thật
 
em thấy bên bank or Viettel vẫn toàn on premise mà :D Cơ mà đúng em làm cty bé bé mới mới thì full cloud thật
Startup họ nhỏ thì dùng ít và đang có credit thì chơi Cloud cho nhanh, scale lên thì không có tiền đâu. Bên mình đội DE đốt tiền = 1/2 cả hạ tầng cty rồi. Còn Viettel thì chắc chắn không được dùng Cloud ngoài, vì có sẵn hạ tầng. Còn Bank cũng vì giảm cost và khi lên Cloud thì còn thừa hạ tầng cũ, tận dụng luôn
 
Startup họ nhỏ thì dùng ít và đang có credit thì chơi Cloud cho nhanh, scale lên thì không có tiền đâu. Bên mình đội DE đốt tiền = 1/2 cả hạ tầng cty rồi. Còn Viettel thì chắc chắn không được dùng Cloud ngoài, vì có sẵn hạ tầng. Còn Bank cũng vì giảm cost và khi lên Cloud thì còn thừa hạ tầng cũ, tận dụng luôn
Tăng tiền cloud thì giảm tiền data center chứ sao. Cứ nghĩ tiền hạ tầng của 1 công ty lớn lớn nó bao gồm:
  • Tiền mua server
  • Tiền thuê số lượng lớn sysadmin quản lý server (so với tầm 3-5 cloud engineer)
  • Tiền đầu tư BDS làm data center (vì không thể di chuyển data center được nên phải sở hữu mặt sàn luôn)
  • Tiền vận hành data center (tiền điện, điều hòa, vệ sinh, an ninh...)

Đầu tư nhiều như vậy nên chưa chắc đã rẻ hơn cloud, chưa kể hạ tầng on-prem cần số tiền lớn ngay từ ban đầu, nếu mang tiền đó đi đầu tư có khi lợi hơn.
 
:( có bác nào biết hay đang tuyển DE intern không ạ, 0 phụ cấp cũng được ạ. khó kiếm quá ạ
 
em thấy bên bank or Viettel vẫn toàn on premise mà :D Cơ mà đúng em làm cty bé bé mới mới thì full cloud thật
Em vừa nhảy từ 1 cty làm on premise bằng open source stack vào bank. Em thấy nếu còn trẻ đừng lên vào bank. Bank về mặt công nghệ khá là tù, một số bank đang có xu hướng chuyển sang dùng cloud nhưng cũng chẳng học được gì mấy đâu vì họ thuê proserve làm hết, các bác muốn động vào cũng ko được vì vướng 1 tỷ policy, công việc của DE trong bank của em siêu nhàm chán.
 
Em vừa nhảy từ 1 cty làm on premise bằng open source stack vào bank. Em thấy nếu còn trẻ đừng lên vào bank. Bank về mặt công nghệ khá là tù, một số bank đang có xu hướng chuyển sang dùng cloud nhưng cũng chẳng học được gì mấy đâu vì họ thuê proserve làm hết, các bác muốn động vào cũng ko được vì vướng 1 tỷ policy, công việc của DE trong bank của em siêu nhàm chán.
:D Em thấy cái vụ policy của công ty to/bank, đặc biệt về data cũng hơi căng. Bạn em có người làm data analyst có người làm data governance trong bank; làm thì ít mà thủ tục thì nhiều. Em làm công ty bé bé hơn ở ngoài thì được sờ mó đụng chạm vào hết. Ký NDA, lộ gì đền nấy thôi =))
 
Em vừa nhảy từ 1 cty làm on premise bằng open source stack vào bank. Em thấy nếu còn trẻ đừng lên vào bank. Bank về mặt công nghệ khá là tù, một số bank đang có xu hướng chuyển sang dùng cloud nhưng cũng chẳng học được gì mấy đâu vì họ thuê proserve làm hết, các bác muốn động vào cũng ko được vì vướng 1 tỷ policy, công việc của DE trong bank của em siêu nhàm chán.
Bên bác DE scope of work là gì thế ?
 
Bên bác DE scope of work là gì thế ?
Trên danh nghĩa là dev, modeling, enrich data lake/ data warehouse, data intergation, ETL, orchestration, monitoring, data governance, dataSecOps … các thứ chẳng khác gì 1 DE bình thường.

Nhìn chung data model trong các bank thường khá là đần độn, nhưng khi các hệ thống đang chạy ổn định rồi họ cũng không có ý định refactor đâu.

Do đó xông việc thực tế là vận hành cái đống bùi nhùi, viết SQL adhoc theo task, đáp vào tool ETL để ra 1 cái gì đó mà có khi bên request nó cũng éo dùng . Thi thoảng vào cái tool governace phân quyền linh tinh. :unsure:
:D Em thấy cái vụ policy của công ty to/bank, đặc biệt về data cũng hơi căng. Bạn em có người làm data analyst có người làm data governance trong bank; làm thì ít mà thủ tục thì nhiều. Em làm công ty bé bé hơn ở ngoài thì được sờ mó đụng chạm vào hết. Ký NDA, lộ gì đền nấy thôi :LOL:
Policy là 1 chuyện, procedure, convention cũng siêu buồn cười. Nếu muốn học biz domain thì vào bank cũng được, nhưng phải tự update technical skill tránh bị outdate.
 

Thống kê chủ đề

Ngày tạo
vu dai,
Người trả lời cuối
Monosuke,
Trả lời
239
Lượt xem
63.316
Quay lại
Lên đầu trang