thảo luận Scrape data bằng puppeteer nhưng gặp cloudflare protection thì phải làm sao?

Chào các bác, em đang scrape data từ 1 trang web nhưng gặp phải trường hợp thỉnh thoảng bị cloudflare chặn lại yêu cầu verify human.
Có bác nào từng làm cái này chưa, cho em xin giải pháp được không? Em đang dùng lib puppeteer của nodejs

google có nhiều mà

thử cái này xem n fix chưa

https://stackoverflow.com/questions/71923946/cloudflare-bypass-with-puppeteer

Dùng puppeteer-extra thử đi bác, giải quyết được khá nhiều vấn đề

Thích Đỏ Đen said:

google có nhiều mà

thử cái này xem n fix chưa

https://stackoverflow.com/questions/71923946/cloudflare-bypass-with-puppeteer

Click to expand...

njndev said:

Dùng puppeteer-extra thử đi bác, giải quyết được khá nhiều vấn đề

Click to expand...

thank 2 bác đã trả lời . Em cũng đã research google rồi xong mới dám lập topic để hỏi. Bypass cloudflare khoai quá nên em viết chrome extension rồi . Để máy chạy hơi cực chút, thỉnh thoảng vẫn phải để ý để verify cloudflare

Rushiferu said:

thank 2 bác đã trả lời . Em cũng đã research google rồi xong mới dám lập topic để hỏi. Bypass cloudflare khoai quá nên em viết chrome extension rồi . Để máy chạy hơi cực chút, thỉnh thoảng vẫn phải để ý để verify cloudflare

Click to expand...

bác có định opensource cái extension đó k, có khi lại hay đấy?

Rushiferu said:

thank 2 bác đã trả lời . Em cũng đã research google rồi xong mới dám lập topic để hỏi. Bypass cloudflare khoai quá nên em viết chrome extension rồi . Để máy chạy hơi cực chút, thỉnh thoảng vẫn phải để ý để verify cloudflare

Click to expand...

cụ thể extension làm gì thế bác. Cũng tò mò vụ này

Rushiferu said:

thank 2 bác đã trả lời . Em cũng đã research google rồi xong mới dám lập topic để hỏi. Bypass cloudflare khoai quá nên em viết chrome extension rồi . Để máy chạy hơi cực chút, thỉnh thoảng vẫn phải để ý để verify cloudflare

Click to expand...

Extension j đó b, cloudflare nó mới update á

Fire Of Heart said:

cụ thể extension làm gì thế bác. Cũng tò mò vụ này

Click to expand...

Mình đoán chắc dùng extension scrape thay cho puppeteer thôi, còn lúc nào mà Cloudflare challenge thì manually resolve.

cũng thắc mắc ext đó làm gì để bypass được cf

Dùng puppeteer-extra-plugin-stealth nha bác

E đoán cái Extension là tạo Cookie & VPN cho cái tab Chrome đó để Cloudfare không nhận diện đang là 1 người request liên tục vào server, nó sẽ không bắt verify human Sai thì các bác gạch nhẹ tay ạ

cudsav said:

Dùng puppeteer-extra-plugin-stealth nha bác

Click to expand...

Được cái nịt nữa