Có nên chọn theo Data Engineer không

ngarecuocdoi_09 đã nói:

bác 2k1 hay 2k2 vậy?

Nhấp để mở rộng...

braum123 đã nói:

bác học trường gì thế, với lại đã có những kiến thức cơ bản nào về data engineer rồi ạ?

Nhấp để mở rộng...

braum123 đã nói:

ĐỈnh quá bác ơi, chắc bác học IT E-10 nhỉ, ngành đó đúng đỉnh cao

Nhấp để mở rộng...

• Thiết kế datawarehouse (kimball)
• Xây dựng luồng xử lý dữ liệu theo thiết kế dwh (pyspark, dbt-trino)
• Ingest dữ liệu thô (spark, polars, debezium)
• Lập lịch (Airflow)

• Thiết kế và quản trị hệ thống data (k8s), thường gồm các phần chính:
  • storage: hdfs, s3, postgresql, clickhouse
  • compute: spark, jupyter
  • serving: query engine (trino), message queue (kafka), metadata (datahub), visualization (superset), logs/metric (grafana)
• Nghiên cứu để tối ưu hệ thống, giải quyết tech debts, đề xuất công nghệ mới, giả sử starrocks vs trino, dagster vs airflow, table format (deltalake, iceberg), openmetadata vs datahub
• Phát triển tools phù hợp yêu cầu của công ty
• Data Engineer = Software Engineer for Data

tmpdeatheye đã nói:

Hi. Mình thấy làm DE có 2 mảng chính, sẽ lấy ví dụ cụ thể ở công ty hiện giờ luôn
1. Data ETL

• Thiết kế datawarehouse (kimball)
• Xây dựng luồng xử lý dữ liệu theo thiết kế dwh (pyspark, dbt-trino)
• Ingest dữ liệu thô (spark, polars, debezium)
• Lập lịch (Airflow)

2. Data Platform

• Thiết kế và quản trị hệ thống data (k8s), thường gồm các phần chính:
  • storage: hdfs, s3, postgresql, clickhouse
  • compute: spark, jupyter
  • serving: query engine (trino), message queue (kafka), metadata (datahub), visualization (superset), logs/metric (grafana)
• Nghiên cứu để tối ưu hệ thống, giải quyết tech debts, đề xuất công nghệ mới, giả sử starrocks vs trino, dagster vs airflow, table format (deltalake, iceberg), openmetadata vs datahub
• Phát triển tools phù hợp yêu cầu của công ty
• Data Engineer = Software Engineer for Data

Nhấp để mở rộng...

ngarecuocdoi_09 đã nói:

Nếu outsource thì thường theo hướng nào và product thì theo hướng nào vậy bác?

Nhấp để mở rộng...

• Tham gia xây dựng các hệ thống xử lý BigData cho toàn bộ mạng viễn thông.
• Tham gia xây dựng các hệ thống lớn xử lý được hàng triệu yêu cầu một giây, sử dụng các công nghệ, kiến trúc mới nhất.
• Tham gia xây dựng các giao thức điều khiển cho thiết bị mạng hoạt động trên mạng lưới.
• Xây dựng các service phục vụ việc kết nối giữa các thành phần của hệ thống.

1. Thành thạo một trong các ngôn ngữ C/C++/Golang.
2. Thành thạo ngôn ngữ SQL là lợi thế.
3. Thành thạo Kafka, Hadoop là một lợi thế.
4. Có khả năng tối ưu code, tìm lỗi và xử lý lỗi.
5. Có kiến thức về cấu trúc dữ liệu và giải thuật.
6. Có kiến thức về các kiến trúc phần mềm.