Đây là bài toàn IO cần gì chia mỗi file thành 1 process cho nó tốn bộ nhớ. 4 threads chia ra thay nhau down khỏi cần async luôn cũng đủ max bw rồiCode xử lý parallel thôi, chia đống url đó ra thành nhiều file, mỗi process xử lý 1 file, lưu vào 1 nơi. Merge lại sau. Cách đơn giản là thế.
Còn phức tạp hơn thì tùy vào hệ thống tới đâu.