thắc mắc Chọn loại database làm data warehouse?

childDE · 12/12/24

Em thắc mắc là data warehouse thường thiết kế để tối ưu tốc độ truy vấn lớn tạo report, vậy thì database nào là phù hợp được mn nhỉ? Em thấy clickhouse là một OLAP có tốc độ truy vấn đáng kinh ngạc, không biết liệu có thể sử dụng clickhouse làm data warehouse được không nhỉ?

Required. · 12/12/24

Phen thử tìm hiêu Duckdb xem

Timeseries Databases Performance — Testing 7 alternatives.

Introduction:

medium.com

Con dê dừa · 12/12/24

+1. Mình SWE từng sử dụng clickhouse làm DB analytic, phải nói là tuyệt vời. Biết tận dụng materialized view của nó nữa thì build report là dễ

Đầy tớ của dân · 13/12/24

Clickhouse dùng nhiều

via theNEXTvoz for iPhone

bam2015 · 7/5/25

1 vote cho clickhouse, hiệu năng siêu khủng. :sexy_girl:

WANWULIN · 7/5/25

Anh em cho mình hỏi xíu,

đối với hệ thống chỉ cần search liên tục, gần như 99% là dành cho search và yêu cầu phải search thật nhanh, data chỉ nằm trên 1 cột duy nhất nhưng lên đến hàng chục tỷ records

ngoài việc index tốt, mình nên dùng ClickHouse này hay nên triển khai ELK nhỉ, mình không phải dev nên không rành lắm nhờ anh em tư vấn giúp

Đầy tớ của dân · 7/5/25

WANWULIN đã nói:
Anh em cho mình hỏi xíu,

đối với hệ thống chỉ cần search liên tục, gần như 99% là dành cho search và yêu cầu phải search thật nhanh, data chỉ nằm trên 1 cột duy nhất nhưng lên đến hàng chục tỷ records

ngoài việc index tốt, mình nên dùng ClickHouse này hay nên triển khai ELK nhỉ, mình không phải dev nên không rành lắm nhờ anh em tư vấn giúp

Data type là gì sếp

via theNEXTvoz for iPhone

WANWULIN · 7/5/25

Đầy tớ của dân đã nói:
Data type là gì sếp

via theNEXTvoz for iPhone

dạng text đó bác

whateverman · 7/5/25

WANWULIN đã nói:
Anh em cho mình hỏi xíu,

đối với hệ thống chỉ cần search liên tục, gần như 99% là dành cho search và yêu cầu phải search thật nhanh, data chỉ nằm trên 1 cột duy nhất nhưng lên đến hàng chục tỷ records

ngoài việc index tốt, mình nên dùng ClickHouse này hay nên triển khai ELK nhỉ, mình không phải dev nên không rành lắm nhờ anh em tư vấn giúp

partition nó ra, chứ tối ưu hiệu năng mà chỉ dựa vào tech stack ko thôi thì kiểu gì chả tới giới hạn

Blanic · 7/5/25

WANWULIN đã nói:
Anh em cho mình hỏi xíu,

đối với hệ thống chỉ cần search liên tục, gần như 99% là dành cho search và yêu cầu phải search thật nhanh, data chỉ nằm trên 1 cột duy nhất nhưng lên đến hàng chục tỷ records

ngoài việc index tốt, mình nên dùng ClickHouse này hay nên triển khai ELK nhỉ, mình không phải dev nên không rành lắm nhờ anh em tư vấn giúp

ClickHouse dùng cho real time analytics còn nếu 99% search thì ELK thẳng tiến.

via theNEXTvoz for iPhone

WANWULIN · 7/5/25

whateverman đã nói:
partition nó ra, chứ tối ưu hiệu năng mà chỉ dựa vào tech stack ko thôi thì kiểu gì chả tới giới hạn

Blanic đã nói:
ClickHouse dùng cho real time analytics còn nếu 99% search thì ELK thẳng tiến.

via theNEXTvoz for iPhone

thank 2 bác nhiều lắm ^^

llamhv · 28/5/25

e đang lấy external data ném vào s3, enrich + transform, sau đó write batch vào DB, data text, e đang chưa biết chọn DB nào, e đang nghiêng về postgre + rds do cần query phức tạp

giờ e muốn tối ưu chi phí cho analysis/ML thì nên dùng warehouse truyền thống hay delta lake ạ

via theNEXTvoz for iPhone

freedom.9 · 29/5/25

Giới thiệu cho mai fen cuốn Deciphering Data Architectures đọc xong rồi chọn nhé

llamhv · 5/6/25

freedom.9 đã nói:
Giới thiệu cho mai fen cuốn Deciphering Data Architectures đọc xong rồi chọn nhé

e cảm ơn ạ, sách hay quá bác, đọc xong đúng vỡ ra nhiều cái thật, e vừa propose phương án cho cấp trên xong

via theNEXTvoz for iPhone

chaubathanh · 5/6/25

Bên mình lưu dữ liệu dạng parquet trên hdfs.
Lakehouse đang dùng Iceberg làm table format, Hive làm Catalog vs Dremio/Spark để query Iceberg table (tất cả đang dùng open source hết)
Cái Iceberg nó ngon ở chỗ là hỗ trợ Update/Delete như RDBMS bình thường luôn, chứ ngày xưa dùng Hive nó k cho Update vs Delete, toàn phải Insert Overwrite

freedom.9 · 5/6/25

llamhv đã nói:
e cảm ơn ạ, sách hay quá bác, đọc xong đúng vỡ ra nhiều cái thật, e vừa propose phương án cho cấp trên xong

via theNEXTvoz for iPhone

You are welcome, chỉ có tự nghiên cứu, nghiền ngẫm, hiểu trade off rồi apply tình hình thực tế mới giải quyết đc thôi chứ đem lên đây đâu ai biết tình huống của bác là gì đâu

servuskevin · 5/6/25

WANWULIN đã nói:
Anh em cho mình hỏi xíu,

đối với hệ thống chỉ cần search liên tục, gần như 99% là dành cho search và yêu cầu phải search thật nhanh, data chỉ nằm trên 1 cột duy nhất nhưng lên đến hàng chục tỷ records

ngoài việc index tốt, mình nên dùng ClickHouse này hay nên triển khai ELK nhỉ, mình không phải dev nên không rành lắm nhờ anh em tư vấn giúp

Elasticsearch thôi. Nhưng hàng tỷ record thì elasticsearch cluster phải lớn lắm mới gánh nổi yêu cầu search nhanh.

Bắt đầu với 3 data node. Mỗi data node 64GB, heap 31gb (< 32gb). Chậm thì thêm data node vào.

3 Masternode càng ổn định càng tốt.

Còn phải tối ưu sharding nữa (20gb-50gb một shard). Mà tổng số shard phụ thuộc vào heap và node*CPU core nữa.

Nói chung điều chỉnh từ từ đến khi nào OK thì thôi.

bam2015 · 6/6/25

Clickhouse :look_down:

mrdendiboss · 6/6/25

Như trên, clickhouse

thunder_berg · 21/11/25

khnguyendinh đã nói:
bạn có file pdf ko ,e xin với em tìm mãi ko ra

em hộp bác rồi nhé

via theNEXTvoz for iPhone

thắc mắc Chọn loại database làm data warehouse?

Junior Member

Senior Member

Junior Member

Senior Member

Member

H04nq Tu Nq4y Tk0

Senior Member

H04nq Tu Nq4y Tk0

Senior Member

Đã tốn tiền

H04nq Tu Nq4y Tk0

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Member

Member

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này