[已解决]有没有办法能让下载速度快一点

jtxs0000

RT

开启了6个线程，CPU直接拉满，下载20本电子书最快的时间都花了3分钟

300M的宽带居然花这么长时间，我手动下载一本基本是秒下

希望有大佬来指点迷津，需要怎么做才能让速度快起来


代码如下：

1. import requests
   
2. import parsel
   
3. from concurrent.futures import ThreadPoolExecutor as pool
   
4. 
   
5. 
   
6. def get_link(url, headers):
   
7.     target = "http://www.qishus.com/"
   
8.     res = requests.get(url,headers=headers)
   
9.     res.encoding = "gbk"
   
10.     res = parsel.Selector(res.text)
    
11.     return [target + each.xpath('./div/span/a/@href').get() for each in res.xpath('//div[@class="mainListInfo"]')]
    
12. 
    
13. def get_txt(link):
    
14.     headers = {
    
15.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
    
16.     }
    
17.     ress = requests.get(link, headers=headers)
    
18.     ress.encoding = "gbk"
    
19.     ress = parsel.Selector(ress.text)
    
20.     # txt下载地址
    
21.     txt = ress.xpath('//*[@id="downAddress"]/a[2]/@href').get()
    
22.     # print(txt)
    
23.    
    
24.     # 电子书名
    
25.     title = ress.xpath('//*[@id="downInfoArea"]/dt/text()').get()
    
26.     # print(title[:-7])
    
27. 
    
28.     # 作者名字
    
29.     name = ress.xpath('//dd[@class="downInfoRowL"]/text()').getall()[6]
    
30.     # print(name)
    
31. 
    
32.     # 书名
    
33.     bookname = title[:-7] + ".txt"
    
34. 
    
35.     # 电子书名与作者名合并
    
36.     filename = title[:-7] + '-' + name + ".txt"
    
37.     print(filename)
    
38. 
    
39.     # 下载TXT格式的电子书到本地
    
40.     with open('./电子书/' + filename, "wb") as f:
    
41.         f.write(requests.get(txt).content)
    
42. 
    
43.     # 更换电子书里面的部分内容
    
44.     s = '更多精彩，更多好书，尽在恒星文学'
    
45.     with open('./电子书/' + filename, "r") as f:
    
46.             lists =  f.readlines()
    
47.             lists[0] = s
    
48.             lists[-1] = s
    
49.             # for each in lists:
    
50.             #     with open('./电子书2/'+ filename, "a+") as f:
    
51.             #         f.write(str(each))
    
52.             # print(f"{title[:-7]} -----》转换成功！")
    
53.             # 重新写入
    
54.             with open('./电子书/' + filename, "w+") as f:
    
55.                 f.writelines(lists)
    
56. 
    
57. 
    
58. if __name__ == "__main__":
    
59.     url = "http://www.qishus.com/xuanhuan/list1_1.html"
    
60.     headers = {
    
61.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
    
62.     }
    
63.     link = get_link(url, headers)
    
64.     # get_txt(link, headers)
    
65. 
    
66.     # 开启线程池
    
67.     pl = pool(max_workers=6)
    
68.     pl.map(get_txt, link)
    
69.     pl.shutdown()

复制代码

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-7-12 20:50:15

你要明白一点，线程不是越多就越快。人家网站响应不过来，你线程再多也没用。另外突然间频繁请求，会导致网站服务器响应慢，请求越快越多，响应速度就越慢，除非这个网站的带宽非常高，不过一般用于架设这种小说网站的服务器带宽都不会很高。还有就是这个网站服务器是在美国，所以就两个字，无解。

跳转到最佳答案楼层

Kayko

啊这

jtxs0000

Kayko 发表于 2021-7-12 11:55
啊这

YunGuo

你要明白一点，线程不是越多就越快。人家网站响应不过来，你线程再多也没用。另外突然间频繁请求，会导致网站服务器响应慢，请求越快越多，响应速度就越慢，除非这个网站的带宽非常高，不过一般用于架设这种小说网站的服务器带宽都不会很高。还有就是这个网站服务器是在美国，所以就两个字，无解。