thắc mắc PostgreSQL có làm sạch dữ liệu được không

Hôm trước mình có hỏi học gì để quản lý data 100gb.
Sau mấy ngày mình đã học xong khoá SQL trên udemy, học cơ bản nên khá dễ và cũng đủ nhu cầu mình dùng.
Nhưng vấn đề mới là data có nhiều ô không sạch kiểu ",*,',//, khoảng trống .... Mình muốn làm sạch để đưa vào database thì có dùng mấy lệnh SQL trong PostgreSQL được không, mình thấy trên datacamp có khoá Data cleaning with PostgreSQL nhưng không biết có đúng mục đích như trên không. Hay phải học thêm python để làm sạch dữ liệu.
Thank các bác.

nhu cầu của thớt là 1 phần trong cái người ta hay gọi là ETL, thực hiện ETL bằng bản thân PostgreSQL vẫn được (dùng stored procedure) nhưng không khuyến khích, nên dùng software ngoài kết nối tới PostgreSQL thực hiện thì hợp lý hơn

Dùng python làm sạch trước rồi đưa vào postgress

via theNEXTvoz for iPhone

Mazda Support said:

nhu cầu của thớt là 1 phần trong cái người ta hay gọi là ETL, thực hiện ETL bằng bản thân PostgreSQL vẫn được (dùng stored procedure) nhưng không khuyến khích, nên dùng software ngoài kết nối tới PostgreSQL thực hiện thì hợp lý hơn

Click to expand...

Vậy PostgreSql thì vẫn ok hả bác.

TTN_vOz said:

Dùng python làm sạch trước rồi đưa vào postgress

via theNEXTvoz for iPhone

Click to expand...

Em không phải dân tech, học nhanh để làm thôi. Hôm trước vừa học xong SQL, nên nếu đc thì dùng thằng này luôn cho tiện. Sợ học python lâu.

manzg21 said:

Vậy PostgreSql thì vẫn ok hả bác.

Click to expand...

nếu không phải dân tech thì bạn nên học python, dân tech còn xỉu lên xỉu xuống với stored procedure thì nói chi dân ngoài

Mấy bác xem hộ em nội dung này có đủ để làm sạch dữ liệu không. Em định học thêm khoá này.
https://www.datacamp.com/courses/cleaning-data-in-postgresql-databases

Mazda Support said:

nếu không phải dân tech thì bạn nên học python, dân tech còn xỉu lên xỉu xuống với stored procedure thì nói chi dân ngoài

Click to expand...

Khó hơn học mới python à bác. Bác biết khoá python nào về làm sạch dữ liệu không, giới thiệu cho e với.

manzg21 said:

Khó hơn học mới python à bác. Bác biết khoá python nào về làm sạch dữ liệu không, giới thiệu cho e với.

Click to expand...

như mình nói rồi, làm sạch dữ liệu là một bước trong ETL thôi, bạn cứ tìm khoá học nào ETL bằng python ấy là đúng nhu cầu của bạn

Mazda Support said:

như mình nói rồi, làm sạch dữ liệu là một bước trong ETL thôi, bạn cứ tìm khoá học nào ETL bằng python ấy là đúng nhu cầu của bạn

Click to expand...

Thank bác. Đang cần liền nên ngại học cái mới. Vậy phải học thêm python cho đủ combo làm sạch và store.

sao k dùng mấy cái BI tools: Tableau?

Khang.Hy.Gia.222 said:

sao k dùng mấy cái BI tools: Tableau?

Click to expand...

Mình nhớ Tableau là để vẽ biểu đồ gì mà.

manzg21 said:

Mình nhớ Tableau là để vẽ biểu đồ gì mà.

Click to expand...

3 bước: ETL - transform - present lun

đọc comment mới biết là "enrich" data, hoặc "ETL"
mới đầu tưởng là làm sạch là "delete/remove/truncate" data