thắc mắc Em xin cách crawl data vietnamwork

chaubathanh đã nói:

API không được thì crawl full html raw rồi dùng các thư viện chuyên dụng kiểu beautifulsoup gì đó để bóc tách cách trường theo xpath/css xem sao. Kiểu tạo 1 con bot truy cập vào trang web như người, rồi parse toàn bộ html, xong đi tìm path chứa thông tin cần lấy thôi (có thể tham khảo thư viện playwright bot). Về cơ bản nếu nó hiển thị trên web thì trong html cũng phải có.
Mỗi tội cách này dễ bị detect và block, nếu web yêu cầu đăng nhập nữa thì khá phức tạp.

Nhấp để mở rộng...

Bigbox đã nói:

Dạ chạy 10k post theo cách này khả thi ko ạ. E crawl đc 10k link dẫn đến post.

Nhấp để mở rộng...

Bigbox đã nói:

Dạ chạy 10k post theo cách này khả thi ko ạ. E crawl đc 10k link dẫn đến post.

Nhấp để mở rộng...

Bigbox đã nói:

Dạ e được biết voz nhiều anh tài cho e mạn phép nhờ xíu ạ. Em là svien đag nghiên cứu về ML, NLP nên em muốn lấy data về các job tuyển dụng trên vietnamwork.
Từ trang này : Tuyển dụng tìm việc làm lương cao mới nhất (https://www.vietnamworks.com/tim-viec-lam/tim-tat-ca-viec-lam)
Em crawl bằng api " search "thì đc các mô tả cơ bản công việc trong list danh sách bằng file json.
Nhưng vấn đề là phần job Decreption và Requirement thì api chỉ trả ra bản tóm tắt.
Vậy nên khi muốn đầy đủ thì em đã vào 1 job bất kì để check thì ko tìm đc một api nào trả ra dữ liệu.
Ở tab network em thử fillter = Doc thì ra đc một dòng có tên giống link. Check thì nó trả html nhưng phần data nó nằm trong phần "<script> __next_ ..." thì em thử lấy dữ liệu thì nó báo ko lấy đc( em dùng chatgpt hỏi)
Nên em nhờ các bác cao nhân cho e xin phương án với ạ. Bác nào đã từng làm việc trên cho em xin hướng đi đúng ạ
Em cảm ơn các bác

Nhấp để mở rộng...