thảo luận Tìm freelancer import Json file vào PostgreSQL

Đưa mình một đoạn data với db thử, dễ thì làm chùa luôn

File json 100GB thì parse cũng toát mồ hôi, mem máy nào chịu nổi.

Gâu Gâu Gâu Gâu said:

File json 100GB thì parse cũng toát mồ hôi, mem máy nào chịu nổi.

Click to expand...

Đọc file rồi seek từng đoạn lên RAM, import xong seek đoạn tiếp theo chứ ai lại load 100Gb lên RAM, mà 100GB json file load lên RAM nó không phải 100Gb nữa đâu, chắc chắn là nhiều hơn

Bảo giờ làm thử mà có 100GB transfer cũng vl Data quan trọng không bạn, xin sample

100GB dữ liệu thì cũng khoai.
10 triệu cũng xứng đáng.

1,2 ngày nữa ko có ai ôm, thì ới mình nhé.
Mình đang có sẵn hạ tầng bigdata

có data mẫu ko đưa thử tớ xem sao. 100G này thì stream rồi đẩy vào db từ từ thôi.

Thank các bác. Hiện có bác đang xem thử. Em lưu thông tin lại đây, có gì inbox từng bác sau.

https://dba.stackexchange.com/questions/151930/import-large-sql-file-to-postgres
Đây thím

hinora said:

https://dba.stackexchange.com/questions/151930/import-large-sql-file-to-postgres

Đây thím

Click to expand...

Thank bác. File nó nhiều bảng relationship khó ăn quá bác. Em mới học code SQL đc 3 ngày, nên thuê cho mau, chứ mò không biết nào xong.

manzg21 said:

Sao tụi trên fiver nó bảo file json nest gì ấy. Đòi em 10 củ.

Click to expand...

tiền công gõ vài dòng code 100k
gõ cái gì, chạy như thế nào 9900k

iahgnoh said:

tiền công gõ vài dòng code 100k
gõ cái gì, chạy như thế nào 9900k

Click to expand...

Thì mình không phải dân trong ngành nên lôi lên đây cho anh em xem thử. Nếu bắt buộc giá thế cũng phải chịu, anh em giúp được đến đâu thì giúp. Bọn nước ngoài giá chát quá, tìm anh em trên này xem có dễ thở hơn không.

mình nhận 10 củ nhé thớt, nếu thớt đồng ý giá đó thì inbox mình thay vì để tiền chảy ra nước ngoài

Thím inbox mình xem thử nhé. Nếu được mình lấy giá rẻ hơn fiver

làm được chưa thím mình lấy 7 củ thôi.

danlaptrinh said:

làm được chưa thím mình lấy 7 củ thôi.

Click to expand...

đừng phá giá thế chứ

//10 củ tôi cũng chịu

200k Viettel nếu ko phải transform data nhiều tôi làm cho. Còn cấu trúc lằng nhằng thì giá khác
Data engineer freelancer uy tín.
https://www.freelancer.com/u/dohungnd94

manzg21 said:

Sao tụi trên fiver nó bảo file json nest gì ấy. Đòi em 10 củ.

Click to expand...

nested json là có những lúc trong file có đoạn key:value trong key:value .
Tưởng tượng là có table trong cột

python gặp case này mình thường chia thành các chunk nhỏ xong dùng json normalize để chuyển thành dạng table xong xử lý tiếp . Cách này không cần ram to nhưng hơi lâu vì xử lý từng chunk. Nếu ram nhiều thì kết hợp thêm multiprocessing cho nhanh vì python nó có GIL lock xử lý 1 core cpu.

manzg21 said:

Như tit, có bác nào nhận kèo này được không.
Mình có file json mà import vào PostgreSQL không được, mò mãi không ra.
Các bác biết chỗ nào nhận làm sạch dữ liệu rồi import vào PostgreSQL chỉ hộ em với.
Thank các bác.

Click to expand...

Cho mình xin yêu cầu chi tiết hơn nào bác