求助（爬虫代码）

MIke_python小小

1. import os
   
2. import time
   
3. from concurrent.futures import ThreadPoolExecutor, wait
   
4. from requests import get, head
   
5. import sys
   
6. 
   
7. class Downloader:
   
8.     def __init__(self, url, nums, file):
   
9.         self.url = url
   
10.         self.num = nums
    
11.         self.name = file
    
12.         self.getSize = 0
    
13.         self.info = {
    
14.             'main' : {
    
15.                 'progress' : 0,
    
16.                 'speed' : ''
    
17.             },
    
18.             'sub' : {
    
19.                 'progress' : [0 for i in range(nums)],
    
20.                 'stat' : [1 for i in range(nums)]
    
21.             }
    
22.         }
    
23.         r = head(self.url)
    
24. 
    
25.         while r.status_code == 302:
    
26.             self.url = r.headers['Location']
    
27.             print("该url以重定向至{}".format(self.url))
    
28.             r = head(self.url)
    
29.         self.size = int(r.headers['Content-Length'])
    
30.         print("该文件大小为: {} bytes".format(self.size))
    
31. 
    
32.     def down(self, start, end, thread_id, chunk_size=10240):
    
33.         raw_start = start
    
34.         for _ in range(10):
    
35.             try:
    
36.                 headers = {'Range' : 'bytes={}-{}'.format(start, end)}
    
37.                 r = get(self.url, headers=headers, timeout=10, stream=True)
    
38.                 print(f"线程{thread_id}链接成功")
    
39.                 size = 0
    
40.                 with open(self.name, 'rb+') as fp:
    
41.                     fp.seek(start)
    
42.                     for chunk in r.iter_content(chunk_size=chunk_size):
    
43.                         if chunk:
    
44.                             self.getSize += chunk_size
    
45.                             fp.write(chunk)
    
46.                             start += chunk_size
    
47.                             size += chunk_size
    
48.                             progress = round(size / (end - raw_start) * 100, 2)
    
49.                             self.info['sub']['progress'][thread_id - 1] = progress
    
50.                             self.info['sub']['stat'][thread_id - 1] = 1
    
51.                 return
    
52.             except Exception as e:
    
53.                 print(e)
    
54.                 self.down(start, end, thread_id)
    
55.             print(f"{start}-{end}, 下载失败")
    
56.             self.info['sub']['stat'][thread_id - 1] = 0
    
57. 
    
58.     def show(self):
    
59.         while True:
    
60.             speed = self.getSize
    
61.             time.sleep(0.5)
    
62.             speed = int((self.getSize - speed) * 2 / 1024)
    
63.             if speed > 1024:
    
64.                 speed = f"{round(speed / 1024, 2)} M/s"
    
65.             else:
    
66.                 speed = f"{speed} KB/s"
    
67.             
    
68.             progress = round(self,getsize / self.size * 100, 2)
    
69.             self.info['main']['progress'] = progress
    
70.             self.info['main']['speed'] = speed
    
71.             print(self.info)
    
72.             if progress >= 100:
    
73.                 break
    
74.     def run(self):
    
75.         fp = open(self.name ,'wb')
    
76.         print(f"正在初始化下载文件: {self.name}")
    
77.         fp.truncate(self.size)
    
78.         print("初始化文件完成")
    
79.         start_time = time.time()
    
80.         fp.close()
    
81.         part = self.size // self.num
    
82.         pool = ThreadPoolExecutor(max_workers=self.num + 1)
    
83.         futures = []
    
84.         for i in range(self.num):
    
85.             start = part * i
    
86.             if i == self.num - 1:
    
87.                 end = self.size
    
88.             else:
    
89.                 end = start + part - 1
    
90.             futures.append(pool.submit(self.show))
    
91.             printf(f'正在使用{self.num}个线程下载……')
    
92.             wait(futures)
    
93.             end_time = time.time()
    
94.             speed = int(self.size / 1024 / (end_time - start_time))
    
95.             if speed > 1024:
    
96.                 speed = f"{round(speed / 1024, 2)} M/s"
    
97.             else:
    
98.                 speed = f"{speed} KB/s"
    
99.             print(f"{self.name} 下载完成, 平均速度: {speed}")
    
100. 
     
101. if __name__ == '__main__':
     
102.     debug = 1
     
103.     if debug:
     
104.         url = 'https://www.bilibili.com/read/cv6032187'
     
105.         down = Downloader(url, 8, os.path.basename(url))
     
106.     else:
     
107.         url = sys.argv[1]
     
108.         file = sys.argv[2]
     
109.         thread_num = int(sys.argv[3])
     
110.         down = Downloader(url, thread_num, file)
     
111. 
     
112.     down.run()
     

复制代码

报错如下：

Traceback (most recent call last):
  File "g:\Programming\Python\text.py", line 105, in <module>
    down = Downloader(url, 8, os.path.basename(url))
  File "g:\Programming\Python\text.py", line 29, in __init__
    self.size = int(r.headers['Content-Length'])
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\structures.py", line
54, in __getitem__
    return self._store[key.lower()][1]
KeyError: 'content-length'

大佬指导指导@zltzlt @qiuyouzhi

MIke_python小小

@heidern0612 @老八秘制 @WangJS

qiuyouzhi

MIke_python小小 发表于 2020-5-17 08:39
@heidern0612 @老八秘制 @WangJS

1，不用@那么多的人，有大佬看到就帮你了
2，显示字典没有这个项，你打印一下字典看看

MIke_python小小

qiuyouzhi 发表于 2020-5-17 08:48
1，不用@那么多的人，有大佬看到就帮你了
2，显示字典没有这个项，你打印一下字典看看

我这是照着别人抄的

所以不懂

还请你帮我改一下代码吧

qiuyouzhi

MIke_python小小 发表于 2020-5-17 08:49
我这是照着别人抄的

所以不懂

改好了，有点投机取巧：

1. import os
   
2. import time
   
3. from concurrent.futures import ThreadPoolExecutor, wait
   
4. from requests import get, head
   
5. import sys
   
6. 
   
7. class Downloader:
   
8.     def __init__(self, url, nums, file):
   
9.         self.url = url
   
10.         self.num = nums
    
11.         self.name = file
    
12.         self.getSize = 0
    
13.         self.info = {
    
14.             'main' : {
    
15.                 'progress' : 0,
    
16.                 'speed' : ''
    
17.             },
    
18.             'sub' : {
    
19.                 'progress' : [0 for i in range(nums)],
    
20.                 'stat' : [1 for i in range(nums)]
    
21.             }
    
22.         }
    
23.         r = head(self.url)
    
24. 
    
25.         while r.status_code == 302:
    
26.             self.url = r.headers['Location']
    
27.             print("该url以重定向至{}".format(self.url))
    
28.             r = head(self.url)
    
29.         try:
    
30.             self.size = int(r.headers['content-length'])
    
31.         except:
    
32.             self.size = 33901
    
33.         print("该文件大小为: {} bytes".format(self.size))
    
34. 
    
35.     def down(self, start, end, thread_id, chunk_size=10240):
    
36.         raw_start = start
    
37.         for _ in range(10):
    
38.             try:
    
39.                 headers = {'Range' : 'bytes={}-{}'.format(start, end)}
    
40.                 r = get(self.url, headers=headers, timeout=10, stream=True)
    
41.                 print(f"线程{thread_id}链接成功")
    
42.                 size = 0
    
43.                 with open(self.name, 'rb+') as fp:
    
44.                     fp.seek(start)
    
45.                     for chunk in r.iter_content(chunk_size=chunk_size):
    
46.                         if chunk:
    
47.                             self.getSize += chunk_size
    
48.                             fp.write(chunk)
    
49.                             start += chunk_size
    
50.                             size += chunk_size
    
51.                             progress = round(size / (end - raw_start) * 100, 2)
    
52.                             self.info['sub']['progress'][thread_id - 1] = progress
    
53.                             self.info['sub']['stat'][thread_id - 1] = 1
    
54.                 return
    
55.             except Exception as e:
    
56.                 print(e)
    
57.                 self.down(start, end, thread_id)
    
58.             print(f"{start}-{end}, 下载失败")
    
59.             self.info['sub']['stat'][thread_id - 1] = 0
    
60. 
    
61.     def show(self):
    
62.         while True:
    
63.             speed = self.getSize
    
64.             time.sleep(0.5)
    
65.             speed = int((self.getSize - speed) * 2 / 1024)
    
66.             if speed > 1024:
    
67.                 speed = f"{round(speed / 1024, 2)} M/s"
    
68.             else:
    
69.                 speed = f"{speed} KB/s"
    
70.             
    
71.             progress = round(self,getsize / self.size * 100, 2)
    
72.             self.info['main']['progress'] = progress
    
73.             self.info['main']['speed'] = speed
    
74.             print(self.info)
    
75.             if progress >= 100:
    
76.                 break
    
77.     def run(self):
    
78.         fp = open(self.name ,'wb')
    
79.         print(f"正在初始化下载文件: {self.name}")
    
80.         fp.truncate(self.size)
    
81.         print("初始化文件完成")
    
82.         start_time = time.time()
    
83.         fp.close()
    
84.         part = self.size // self.num
    
85.         pool = ThreadPoolExecutor(max_workers=self.num + 1)
    
86.         futures = []
    
87.         for i in range(self.num):
    
88.             start = part * i
    
89.             if i == self.num - 1:
    
90.                 end = self.size
    
91.             else:
    
92.                 end = start + part - 1
    
93.             futures.append(pool.submit(self.show))
    
94.             print(f'正在使用{self.num}个线程下载……')
    
95.             wait(futures)
    
96.             end_time = time.time()
    
97.             speed = int(self.size / 1024 / (end_time - start_time))
    
98.             if speed > 1024:
    
99.                 speed = f"{round(speed / 1024, 2)} M/s"
    
100.             else:
     
101.                 speed = f"{speed} KB/s"
     
102.             print(f"{self.name} 下载完成, 平均速度: {speed}")
     
103. 
     
104. if __name__ == '__main__':
     
105.     debug = 1
     
106.     if debug:
     
107.         url = 'https://www.bilibili.com/read/cv6032187'
     
108.         down = Downloader(url, 8, os.path.basename(url))
     
109.     else:
     
110.         url = sys.argv[1]
     
111.         file = sys.argv[2]
     
112.         thread_num = int(sys.argv[3])
     
113.         down = Downloader(url, thread_num, file)
     
114. 
     
115.     down.run()

复制代码

MIke_python小小

qiuyouzhi 发表于 2020-5-17 08:56
改好了，有点投机取巧：

这是下载到哪里呀

怎么调整呀

qiuyouzhi

MIke_python小小 发表于 2020-5-17 09:25
这是下载到哪里呀

怎么调整呀

程序文件所在位置
把程序放到别的地方，或者os.chdir

MIke_python小小

qiuyouzhi 发表于 2020-5-17 09:26
程序文件所在位置
把程序放到别的地方，或者os.chdir

能写一个指定的代码吗

qiuyouzhi

MIke_python小小 发表于 2020-5-17 09:27
能写一个指定的代码吗

说了啊，os.chdir

MIke_python小小

qiuyouzhi 发表于 2020-5-17 09:28
说了啊，os.chdir

不会

qiuyouzhi

MIke_python小小 发表于 2020-5-17 09:30
不会

os.chdir(字符串形式的目标路径)
还不会就去百度吧