thắc mắc query vào database liên tục

Trevor_Schmeler · 12/7/21

Mình query vào database liên tục để lấy dữ liệu thì có vấn đề gì xảy ra nhỉ? Ví dụ mỗi 10s mình query một lần để lấy các bản ghi mới trong 10s đó.

Cái này mình nghĩ chỉ liên quan tới connection pool thôi, nhưng liêụ câu query có ảnh hưởng tới gì khác không thì không rõ. Rất mong bác nào biết chỉ mình.

Sent from Xiaomi Pro via nextVOZ

WANWULIN · 12/7/21

tốn tiền chứ có gì đâu anh

Trevor_Schmeler · 12/7/21

WANWULIN đã nói:
tốn tiền chứ có gì đâu anh

Sao lại tốn tiền thế thím

Sent from Xiaomi Pro via nextVOZ

WANWULIN · 12/7/21

Trevor_Schmeler đã nói:
Sao lại tốn tiền thế thím

Sent from Xiaomi Pro via nextVOZ

nếu không phải anh cày post thì em trả lời

việc query vào DB nhiều hay ít là tùy business logic bên anh, chẳng ảnh hưởng gì đến ai cả

nhưng lập trình thì ngta hạn chế dùng tài nguyên vô tội vạ, nói vậy để biết là không cần thiết thì không dùng, vì đơn giản là tốn kém băng thông, tốn kém tài nguyên phần cứng

còn nếu dùng cloud thì nó tính tiền theo lượt query

Trevor_Schmeler · 12/7/21

WANWULIN đã nói:
nếu không phải anh cày post thì em trả lời

việc query vào DB nhiều hay ít là tùy business logic bên anh, chẳng ảnh hưởng gì đến ai cả

nhưng lập trình thì ngta hạn chế dùng tài nguyên vô tội vạ, nói vậy để biết là không cần thiết thì không dùng, vì đơn giản là tốn kém băng thông, tốn kém tài nguyên phần cứng

còn nếu dùng cloud thì nó tính tiền theo lượt query

Mình đang có cái yêu cầu sync up giữa On-premises vs cloud. Mà k/h thì có yêu cầu dữ liệu phải sync sớm lên cloud. Mình cũng hơi ngần ngại dùng interval nhưng ko có cách nào khác. Tìm tài liệu của MS thì không thấy. Đang ko rõ thời gian ngắn quá thì có ảnh hưởng gì tới database server không.

Sent from Xiaomi Pro via nextVOZ

thevirginman · 12/7/21

Nhớ để partition/cluster hoặc indexing cho timestamp
Dùng cursor để tránh query 1 record hai lần ( hoặc không lần )

bác làm batch processing kiểu đấy nên cho monitoring vào tránh query hỏng hay computation lỗi

thanh5293 · 12/7/21

Trevor_Schmeler đã nói:
Mình đang có cái yêu cầu sync up giữa On-premises vs cloud. Mà k/h thì có yêu cầu dữ liệu phải sync sớm lên cloud. Mình cũng hơi ngần ngại dùng interval nhưng ko có cách nào khác. Tìm tài liệu của MS thì không thấy. Đang ko rõ thời gian ngắn quá thì có ảnh hưởng gì tới database server không.

Sent from Xiaomi Pro via nextVOZ

websocket

thevirginman · 12/7/21

Su

Trevor_Schmeler đã nói:
Mình đang có cái yêu cầu sync up giữa On-premises vs cloud. Mà k/h thì có yêu cầu dữ liệu phải sync sớm lên cloud. Mình cũng hơi ngần ngại dùng interval nhưng ko có cách nào khác. Tìm tài liệu của MS thì không thấy. Đang ko rõ thời gian ngắn quá thì có ảnh hưởng gì tới database server không.

Sent from Xiaomi Pro via nextVOZ

Sync onprem với cloud thì bác xem có giải pháp DMS nào hợp không

ví dụ https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.PostgreSQL.html

Trevor_Schmeler · 12/7/21

thevirginman đã nói:
Nhớ để partition/cluster hoặc indexing cho timestamp
Dùng cursor để tránh query 1 record hai lần ( hoặc không lần )

bác làm batch processing kiểu đấy nên cho monitoring vào tránh query hỏng hay computation lỗi

Mình dùng timestamp chỉ ngần ngại việc query liên tục làm slowdown server mà tìm tài liệu ko thấy. Thím có nguồn nào hay keyword gì về cái này không, cho mình tham khảo với.

Thank thím nhiều nhez.

Sent from Xiaomi Pro via nextVOZ

Trevor_Schmeler · 12/7/21

thanh5293 đã nói:
websocket

Sao lại dùng websocket nhỉ?

Sent from Xiaomi Pro via nextVOZ

Trevor_Schmeler · 12/7/21

7770 đã nói:
Thằng ku làm back end công ty tôi còn chơi trò real time bằng cách mỗi giây query 1 lần, mà không phải chỉ 1 query thôi đâu, thế mà chạy ầm ầm mấy năm nay rồi chẳng sao, sếp đếch quan tâm nó code thế nào, miễn chạy là được, khi nào mở rộng thì lại đắp thêm ram cho server

Nếu vậy mình nghĩ khi query thì chỉ liên quan tới connection với Ram. Cũng không thành vấn đề nêus batch process đủ nhanh để giải phóng ram với connection

Sent from Xiaomi Pro via nextVOZ

thanh5293 · 12/7/21

Theo tôi, bác cứ làm interval trước, chạy ko ổn thì sửa. Chứ ko có cách gì là hoàn hảo
- websocket nó mở connection với server dùng tcp nên request size nhỏ hơn bạn dùng http request, nên có thể sẽ nhanh hơn

TTN_vOz · 12/7/21

CSDL nó có hỗ trợ replication giữa các node mà ta.
Nghĩ query liên tục làm gì
Postgres: https://www.postgresql.org/docs/current/runtime-config-replication.html
MariaDB: https://mariadb.com/kb/en/standard-replication/

Trevor_Schmeler · 12/7/21

TTN_vOz đã nói:
CSDL nó có hỗ trợ replication giữa các node mà ta.
Nghĩ query liên tục làm gì
Postgres: https://www.postgresql.org/docs/current/runtime-config-replication.html
MariaDB: https://mariadb.com/kb/en/standard-replication/

Họ muốn tổng hợp từ nhiều nguồn và dữ liệu các nguồn khác nhau, cần làm transformation về một schema duy nhất

Sent from Xiaomi Pro via nextVOZ

Trevor_Schmeler · 12/7/21

thanh5293 đã nói:
Theo tôi, bác cứ làm interval trước, chạy ko ổn thì sửa. Chứ ko có cách gì là hoàn hảo
- websocket nó mở connection với server dùng tcp nên request size nhỏ hơn bạn dùng http request, nên có thể sẽ nhanh hơn

Cảm ơn bạn. Mình đồng ý dùng interval rồi. Vì database ko có event nên chắc có mỗi cách batch processing này

Sent from Xiaomi Pro via nextVOZ

TTN_vOz · 12/7/21

Trevor_Schmeler đã nói:
Họ muốn tổng hợp từ nhiều nguồn và dữ liệu các nguồn khác nhau, cần làm transformation về một schema duy nhất

Sent from Xiaomi Pro via nextVOZ

Còn chần chờ gì mà chưa dùng AirFlow vậy maifen
https://airflow.apache.org/
Lập lịch collect dữ liệu từ nhiều nguồn, giao diện DAC dễ hiểu, code python

Trevor_Schmeler · 12/7/21

TTN_vOz đã nói:
Còn chần chờ gì mà chưa dùng AirFlow vậy maifen
https://airflow.apache.org/
Lập lịch collect dữ liệu từ nhiều nguồn, giao diện DAC dễ hiểu, code python

Thank thím. Mình đồng ý dùng interval rồi, về cơ bản Azure cũng có Data Factory cũng khá giống. Mà k/h không dùng hình như có giới hạn là chỉ interval trong 15 phút, ko nhỏ hơn :d

Sent from Xiaomi Pro via nextVOZ

lmnt · 12/7/21

Trevor_Schmeler đã nói:
Thank thím. Mình đồng ý dùng interval rồi, về cơ bản Azure cũng có Data Factory cũng khá giống. Mà k/h không dùng hình như có giới hạn là chỉ interval trong 15 phút, ko nhỏ hơn :d

Sent from Xiaomi Pro via nextVOZ

mình cũng dùng azure và cứ 30s xuống lấy data 1 lần, thấy ko ảnh hưởng lắm
và cũng ko thấy bị charge thêm tiền
// mình dùng azure function nhé

bumblebe · 12/7/21

10s 1 lần thì có gì mà liên tục. Thoải mái đi fence.

nguyenluc900 · 12/7/21

Dùng kafka connect (Data Streaming realtime) nha micle frence.
Cơ chế của nó là sẽ đọc log của các table trong database (CDC - capture data change).

thắc mắc query vào database liên tục

Junior Member

H04nq Tu Nq4y Tk0

Junior Member

H04nq Tu Nq4y Tk0

Junior Member

Đã tốn tiền

Junior Member

Đã tốn tiền

Junior Member

Junior Member

Junior Member

Junior Member

Senior Member

Junior Member

Junior Member

Senior Member

Junior Member

Đã tốn tiền

Member

Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này