thắc mắc Cách lấy api hoặc crawl data của nhatot.com

Pemo123 đã nói:

Ko rõ cách API hoạt động thì xài selenium crawl luôn đi cho dễ, public page nên k dễ bị ban đâu

via theNEXTvoz for iPhone

Nhấp để mở rộng...

yt.blue đã nói:

Nhưng mà nó bị thiếu trường nếu em lấy data từ cái trang search thông tin, còn data đầy đủ phải click vô từng sản phảm bác ạ. Bác recommend cho em cách nào crawl data đầy đủ thông tin dudợc không ạ

Nhấp để mở rộng...

yt.blue đã nói:

Như tiêu đề là em cần data của web nhatot.com.
Đầu tiên là về api em thử f12 tìm nhưng mà không thấy thì không biết nó có public api không tại vì em search thì trước đây có "https://gateway.chotot.com/v1/public/ad-listing?region_v2=12000&cg=2010&w=1&limit=20&st=s&f=p"
Để lấy data thì vẫn có thể crawl về thì em xài selenium nhưng mà nó bắt không hết được element mà em muốn
Xem tệp đính kèm 1836415
ví dụ như thế này chỉ có các trường như title, m2, giá, xã phường hoặc huyện (https://www.nhatot.com/mua-ban-bat-dong-san-quan-binh-tan-tp-ho-chi-minh)
còn muốn chi tiết hơn phải click vô mới hiện được đầy đủ để bắt hết tất cả các trường mà em mong muốn thì không biết có cách nào có thể lấy mà không cần click vào không ạ
Xem tệp đính kèm 1836417
như này thì em có thêm các trường như giấy tờ, loại hình, hướng,...

Nhấp để mở rộng...

yt.blue đã nói:

Nhưng mà nó bị thiếu trường nếu em lấy data từ cái trang search thông tin, còn data đầy đủ phải click vô từng sản phảm bác ạ. Bác recommend cho em cách nào crawl data đầy đủ thông tin dudợc không ạ

Nhấp để mở rộng...

jamesporn đã nói:

Em có làm theo nhưng mà chỉ get được khoảng 20k record thì ko get được nữa mặc dù total hơn 100k, có cách nào để get thêm không ạ?

Nhấp để mở rộng...