thắc mắc Làm thế nào để insert nửa Terabyte dữ liệu

Các bác ơi, cho em hỏi làm cách nào để insert cỡ 500GB dữ liệu vào DB không ạ .Dữ liệu thì không được chuẩn bị trước, cũng như việc máy tính không đủ bộ nhớ để chứa
Em có thử viết một đoạn code để insert cho đến khi nào size của db đấy đạt được như kỳ vọng nhưng thấy no hope quá

Asugoi said:

Các bác ơi, cho em hỏi làm cách nào để insert cỡ 500GB dữ liệu vào DB không ạ .Dữ liệu thì không được chuẩn bị trước, cũng như việc máy tính không đủ bộ nhớ để chứa
Em có thử viết một đoạn code để insert cho đến khi nào size của db đấy đạt được như kỳ vọng nhưng thấy no hope quá

Click to expand...

Vấn đề là 500GB đó đang ở đâu, DB gì nhỉ?

InF17WeTrust said:

Vấn đề là 500GB đó đang ở đâu, DB gì nhỉ?

Click to expand...

Em dùng postgres ạ. Cũng không có sẵn 500GB dữ liệu luôn anh. Nên e đang bí ở cả việc làm thế nào để sinh ra 500gb và nếu sinh được thì insert kiểu gì ((

Asugoi said:

Em dùng postgres ạ. Cũng không có sẵn 500GB dữ liệu luôn anh. Nên e đang bí ở cả việc làm thế nào để sinh ra 500gb và nếu sinh được thì insert kiểu gì ((

Click to expand...

Vậy là tạo dummy data để test à bạn? Nếu vậy thì mình cũng đã từng làm nhưng mình làm cách đơn giản nhất là viết script gen ra câu INSERT rồi chạy thôi

InF17WeTrust said:

Vậy là tạo dummy data để test à bạn? Nếu vậy thì mình cũng đã từng làm nhưng mình làm cách đơn giản nhất là viết script gen ra câu INSERT rồi chạy thôi

Click to expand...

Cứ chạy cho đến khi nào đủ size thì thôi à anh ?

Asugoi said:

Cứ chạy cho đến khi nào đủ size thì thôi à anh ?

Click to expand...

Uhm bạn, để tăng tốc độ thì nên bulk insert (vd 5000~10000 record/query) và kết hợp chạy multi process/thread.

InF17WeTrust said:

Uhm bạn, để tăng tốc độ thì nên bulk insert (vd 5000~10000 record/query) và kết hợp chạy multi process/thread.

Click to expand...

Dạ vâng anh, để e thử xem ạ
Em cảm ơn ạ.

Lúc insert thì chọn append nữa fence nhé (thuật ngữ bên Oracle, không rõ bên Postgres như thế nào). Đại khái là insert thẳng mà không cần quan tâm đến các block trống và một ưu điểm nữa là ít ghi lại redo log khiến tốc độ insert tăng lên rất nhanh

The Muad'dib said:

Lúc insert thì chọn append nữa fence nhé (thuật ngữ bên Oracle, không rõ bên Postgres như thế nào). Đại khái là insert thẳng mà không cần quan tâm đến các block trống và một ưu điểm nữa là ít ghi lại redo log khiến tốc độ insert tăng lên rất nhanh

Click to expand...

Thank bạn nhé kk.

bác hỏi đọc nghe khó hiểu quá, nếu bác cần dung lượng thì cứ đặt loop chạy insert vô thôi nhớ insert max length của các fileds luôn cho nhanh đủ size

giacatvuhau said:

bác hỏi đọc nghe khó hiểu quá, nếu bác cần dung lượng thì cứ đặt loop chạy insert vô thôi nhớ insert max length của các fileds luôn cho nhanh đủ size

Click to expand...

Oki bác ơi. Cảm ơn bác nhé.

Tạo bảng không có bất cứ index nào (heap) thì việc insert sẽ nhanh hơn

Insert trực tiếp thì lâu lắm, tạo một bảng với số lượng cột nhiều vào, insert khoảng chừng 1000 rows.

Sau đó, clone 1 bảng giống i xì thế rồi dùng lệnh:

INSERT INTO table2
SELECT * FROM table1
WHERE condition;


thi thoảng đảo lại bảng 1 cái để 2 bảng to bằng nhau rồi insert tiếp

SAO K DUNG BULK INSERT ?

codeforfood2015 said:

Insert trực tiếp thì lâu lắm, tạo một bảng với số lượng cột nhiều vào, insert khoảng chừng 1000 rows.

Sau đó, clone 1 bảng giống i xì thế rồi dùng lệnh:

INSERT INTO table2
SELECT * FROM table1
WHERE condition;


thi thoảng đảo lại bảng 1 cái để 2 bảng to bằng nhau rồi insert tiếp

Click to expand...

Em thì viết scrip insert, dùng lệnh COPY để insert 100000 record cùng lúc mà vẫn chậm rì luôn, 1p được có 300mb. Nên e có tạo procedure insert thì thấy nhanh hơn 1p đc tầm 2gb

thím muốn nhanh nhưng có giới hạn gì không, chỉ đơn thuần là thao tác ghi và không có gì tác động thì chơi hết hiệu năng của server lun thím, mở gần như tối đa luồng luôn.
cho batch chạy rùi đi ún cà phê thui. nhưng mà 1/2 tera cũng căng quá.
em chưa thử nhưng cũng mong gặp thêm những solution khác để giải quyết bài này.