thắc mắc Cách tối ưu query cho query sql?

thaihiep · 18/11/21

Với kinh nghiệm và kiến thức của em thì khi gặp vấn đề performance sql query em sẽ xử lý như sau:

thường phổ biến nhất là dùng index
nolock
với mấy cái rule khi viết sql như tránh select *, tránh union, tránh nested select
hoặc dùng store procedure nếu query đó chạy nhiều lần

Mấy thím có solution nào khác chỉ giúp em với?

Reishou · 18/11/21

Các logic bình thường thì cùng lắm limit 100 thì select * với select từng column chả khác nhau mấy đâu :big_smile:

thaihiep · 18/11/21

Reishou đã nói:
Các logic bình thường thì cùng lắm limit 100 thì select * với select từng column chả khác nhau mấy đâu

Em lại nghĩ khác. Thím thử đo select 2,3 columns với select * xem. Tốc độ cải thiện hơn

Reishou · 18/11/21

Có đáng bao nhiêu đâu :shame:

Love U So Much · 18/11/21

ko có limit thì giời đỡ

RPG29 · 18/11/21

Gì chứ cứ tránh store procedure ra nếu có thể, maintenance store procedure là việc khốn nạn nhất :too_sad:

Khang.Hy.Gia.222 · 18/11/21

RPG29 đã nói:
Gì chứ cứ tránh store procedure ra nếu có thể, maintenance store procedure là việc khốn nạn nhất

nhưng perf nó là best, không biết sao a lại anti vậy, PL/SQL dể hiểu bỏ mẹ

RPG29 · 18/11/21

Khang.Hy.Gia.222 đã nói:
nhưng perf nó là best, không biết sao a lại anti vậy, PL/SQL dể hiểu bỏ mẹ

Không anti nhưng SP chỉ nên dùng với mấy việc có thể và nên làm việc gần với tầng persistent như reporting, OLAP...
Chứ heavy business logic thì đúng thảm họa cho thằng maintenance sau.

tdat00 · 18/11/21

Khang.Hy.Gia.222 đã nói:
nhưng perf nó là best, không biết sao a lại anti vậy, PL/SQL dể hiểu bỏ mẹ

Cái nhược điểm lớn nhất của SP là không ghi được log. Thà cứ load từng phần lên rồi ghi log rồi từ từ xử lý tiếp, chậm mà chắc.

huyhoang_461900 · 18/11/21

ngolebaotrung · 18/11/21

thaihiep đã nói:
Với kinh nghiệm và kiến thức của em thì khi gặp vấn đề performance sql query em sẽ xử lý như sau:

thường phổ biến nhất là dùng index

nolock

với mấy cái rule khi viết sql như tránh select *, tránh union, tránh nested select

hoặc dùng store procedure nếu query đó chạy nhiều lần

Mấy thím có solution nào khác chỉ giúp em với?

partition/sharding table database, hoặc cố gắng design database cho nó đẹp, normalize ...

thaihiep · 18/11/21

Reishou đã nói:
Xem tệp đính kèm 874850

Có đáng bao nhiêu đâu

vãi thật. Thím test với dữ liệu ít. limit 100 records thì sao so sánh được. Test solution bài toán performance với lượng dự liệu lớn chứ

zzchaolegionzz · 18/11/21

Bổ sung thêm cái dùng persistent view

Mazda Support · 18/11/21

thaihiep đã nói:
vãi thật. Thím test với dữ liệu ít. limit 100 records thì sao so sánh được. Test solution bài toán performance với lượng dự liệu lớn chứ

nhưng mà thực tế có khi nào nhu cầu query trả về nhiều dòng vậy đâu nhỉ

thaihiep · 18/11/21

ngolebaotrung đã nói:
partition/sharding table database, hoặc cố gắng design database cho nó đẹp, normalize ...

thanks thím. Để em nghiên cứu partition/sharding xem
https://www.singlestore.com/blog/database-sharding-vs-partitioning-whats-the-difference/

thaihiep · 18/11/21

Mazda Support đã nói:
nhưng mà thực tế có khi nào nhu cầu query trả về nhiều dòng vậy đâu nhỉ

Nếu nhu cầu lấy lớn view ra người dùng thì có paging => hợp lý
Còn 1 số yêu cầu khác như reporting, hay xử lý phân tích data thì tập data lấy ra rất lớn

zzchaolegionzz · 18/11/21

thaihiep đã nói:
Nếu nhu cầu lấy lớn view ra người dùng thì có paging => hợp lý
Còn 1 số yêu cầu khác như reporting, hay xử lý phân tích data thì tập data lấy ra rất lớn

Lớn thì cũng nên batch processing chứ nhỉ, kéo từng lô 1000 records ra xử lý xong lấy lô khác, chứ lấy hết lên rồi mới đẩy đi thì RAM đâu cho đủ

thaihiep · 18/11/21

zzchaolegionzz đã nói:
Lớn thì cũng nên batch processing chứ nhỉ, kéo từng lô 1000 records ra xử lý xong lấy lô khác, chứ lấy hết lên rồi mới đẩy đi thì RAM đâu cho đủ

ok. thanks thím. Em hiểu rồi =))

vậy thực tế có ngoại lệ nào không thím.

Mazda Support · 18/11/21

thaihiep đã nói:
Nếu nhu cầu lấy lớn view ra người dùng thì có paging => hợp lý
Còn 1 số yêu cầu khác như reporting, hay xử lý phân tích data thì tập data lấy ra rất lớn

phân tích thì cũng lấy kết quả aggregated rồi chứ ai lại lôi raw data ra rồi tính ở application

zzchaolegionzz · 18/11/21

thaihiep đã nói:
ok. thanks thím. Em hiểu rồi vậy thực tế có ngoại lệ nào không thím.

Ngoại lệ là thím xử lý dữ liệu trong store procedure hay trực tiếp trong câu truy vấn thì thoải mái đi, vì nó thực hiện trên chính server SQL và nó tự tối ưu hóa bên dưới rồi. Mình chưa đọc code nhưng đoán nó cũng batch processing thôi.

thắc mắc Cách tối ưu query cho query sql?

Senior Member

Member

Senior Member

Member

Senior Member

Đã tốn tiền

Member

Đã tốn tiền

Đã tốn tiền

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Senior Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này