thảo luận Thuật toán tìm kiếm tối ưu cho mảng dữ liệu lớn - JS

Thích Màu Hường said:

Nói thật tôi thấy các anh cứ thích đao to búa lớn, giải thuật các kiểu trong khi design thì như shit, lúc đó thuật trời cũng ko cứu được đấy.

À còn vụ anh bảo tôi bớt làm CRUD là a chụp mũ nhé. Nói luôn, tôi làm về Data Analysis và Machine Learning chứ éo phải CRUD, và tôi biết trình của tôi cũng chẳng pro gì nên ko dám gáy về giải thuật như anh. Chém gió với các a bên kia là do thấy mấy a cuồng FP quá thôi.

Lượn

Click to expand...

kai_nk said:

Chào các bác, hiện tại em đang tìm kiếm theo tên của từng địa chỉ để lấy ra lat long, nhưng vấn đề là mảng dữ liệu em khá lớn ( ~ 3m dòng ). Có giải thuật nào tối ưu để xử lí mảng này không các bác ?

View attachment 234167

Click to expand...

• Tôi nghĩ thớt chắc có lý do riêng ko thể đưa đám database này lên các database engine có hỗ trợ FTS rồi. Ví dụ ko có server để làm công việc này phía backend,....etc => Ông thớt xác nhận giùm.

Thích Màu Hường said:

Vấn đề không phải là làm sao tìm kiếm trên ~3m dòng. Vấn đề là tại sao lại để mình rơi vào tình huống có cái mảng ~3m dòng.

via theNEXTvoz for iPhone

Click to expand...

ez-aqua said:

Cho mình hỏi là contex ở đây là gì nhỉ, bạn dùng read 1 file text json trong đó có 3 triệu record, hay là bạn request sang 1 web api nào đó, và api đó trả về 3 triệu record, nội dung có thể thay đổi trong các lần gọi khác nhau, rồi bạn muốn filter bằng "name" à. Ý câu hỏi này của mình là bạn cái 3 triệu row của bạn là data bạn chủ động (trường hợp 1) hay bị động (trường hợp 2)

Nếu mà trường hợp 1 thì có lẽ là thay vì để trong file text, có lẽ bạn nên lưu trong sql database hoặc gì đó, có index để seek, index-key look up đêt giảm io, hoặc tự động parallel nếu phải scan (ví dụ khi search bằng pattern bất thường), 1 số sẽ hỗ trợ cả full text search (sql server)

Còn trường hợp 2 thì trước khi xem thuật toán xử lý, bạn kiểm tra xem nó có chậm ở bước get data hoặc de serialize k (3 triệu row với data thế kia có khi cũng phải mấy chục megabyte, down qua network có khi cũng phải chục giây, chưa kể cost deserialize) . Còn nếu mà chậm thực sự là do arr thì mình nghĩ sẽ chẳng có cách nào khác ngoại trừ duyệt từ đầu mảng đến cuối mảng đâu, để tăng tốc cái này nếu là đám như c# thì mình sẽ nghĩ đến thư viện parallel for each, nhưng k rõ javascript web worker thì thế nào...

Click to expand...

kai_nk said:

thank bạn mình đang có file json thoy

Click to expand...

zulu said:

• Tôi nghĩ thớt chắc có lý do riêng ko thể đưa đám database này lên các database engine có hỗ trợ FTS rồi. Ví dụ ko có server để làm công việc này phía backend,....etc => Ông thớt xác nhận giùm.

Click to expand...

Phạch phạch phạch said:

Đơ máy chứ chả đùa

Click to expand...

kai_nk said:

à do là openweathermap cung cấp sẵn file đó nên em muốn tìm xem cách nào xử lí ở client không

Click to expand...