Làm sao để download file ảnh từ list url siêu to khổng lồ?

10 phút, 500k ok, đưa luôn sourcecode
Link nào down được cho vào 1 file, ko down được cho vào 1 file thống kê ra luôn
 
Code xử lý parallel thôi, chia đống url đó ra thành nhiều file, mỗi process xử lý 1 file, lưu vào 1 nơi. Merge lại sau. Cách đơn giản là thế.
Còn phức tạp hơn thì tùy vào hệ thống tới đâu.
Đây là bài toàn IO cần gì chia mỗi file thành 1 process cho nó tốn bộ nhớ. 4 threads chia ra thay nhau down khỏi cần async luôn cũng đủ max bw rồi
 
Back
Top