jerryno6
Senior Member
Hi các bác, mình nhờ các bác nào có kinh nghiệm bên google cloud tư vấn với.
[Hiện trạng]
Mình đang có một google cloud SQL instance for PostgreSQL tên là PROD, trong đó có 5 database. mình đang muốn build 1 instance cloud SQL for PostgreSQL khác tương tự đặt tên là DEV.
[Mong muốn]
Mình muốn tìm 1 cách nào đó để có thể hằng ngày tự động việc lấy dữ liệu mới nhất của 1 database từ PROD đẩy về 1 db trong instance DEV với điều kiện:
1. Lấy dữ liệu mới nhất từ từ PROD để đổ vào trong DEV instance.
2. Chỉnh sửa lại dữ liệu nhạy cảm, ví dụ thông tin địa chỉ khách hàng, tên khách hàng của database trong DEV.
[Giải pháp đã thử]
giải pháp nocode từ google:
Còn giải pháp phải code thì mình còn solution:
- Tạo 1 scheduler code cho nó chạy 1 lệnh google cli để restore backup của PROD sang bên DEV, sau đó code tiếp cho nó chạy 1 script SQL để update sửa lại những field thông tin nhạy cảm, ví dụ như field customer_address, customer_name. Cái này thì hơi phiền vì còn phải dính nhiều cái khác như pubsub, lambda, permisson, role, VPC, và phải làm sao để nó đợi việc restore thành công rồi mới tiến hành update data.
Nhờ các bác có kinh nghiệm với google cloud hỗ trợ thêm.
[Hiện trạng]
Mình đang có một google cloud SQL instance for PostgreSQL tên là PROD, trong đó có 5 database. mình đang muốn build 1 instance cloud SQL for PostgreSQL khác tương tự đặt tên là DEV.
[Mong muốn]
Mình muốn tìm 1 cách nào đó để có thể hằng ngày tự động việc lấy dữ liệu mới nhất của 1 database từ PROD đẩy về 1 db trong instance DEV với điều kiện:
1. Lấy dữ liệu mới nhất từ từ PROD để đổ vào trong DEV instance.
2. Chỉnh sửa lại dữ liệu nhạy cảm, ví dụ thông tin địa chỉ khách hàng, tên khách hàng của database trong DEV.
[Giải pháp đã thử]
giải pháp nocode từ google:
Google Cloud backup and DR, cái này chỉ dùng được cho DB onpremise.DB Migration Service: thấy nó chỉ kéo dữ liệu về được thôi, còn bước Conversion Workspace thì source database không hỗ trợ google cloud SQL. Trong khi mình muốn nó vừa kéo dữ liệu về và vừa chạy script SQL để update hoặc là có cách nào đó để chuyển đỏi/ generate ra dữ liệu cho những field nhạy cảm trong một table nào đó thành fake data sau khi đã kéo dữ liệu mới nhất từ PROD về.
Còn giải pháp phải code thì mình còn solution:
- Tạo 1 scheduler code cho nó chạy 1 lệnh google cli để restore backup của PROD sang bên DEV, sau đó code tiếp cho nó chạy 1 script SQL để update sửa lại những field thông tin nhạy cảm, ví dụ như field customer_address, customer_name. Cái này thì hơi phiền vì còn phải dính nhiều cái khác như pubsub, lambda, permisson, role, VPC, và phải làm sao để nó đợi việc restore thành công rồi mới tiến hành update data.
Nhờ các bác có kinh nghiệm với google cloud hỗ trợ thêm.
Last edited:
