求爬视频加快爬取的方法

fan1993423

我在爬取视频的时候（.mp4等）的时候不管是用urllib.request.urlretrieve,还是用file.write()的方式感觉下载速度太慢，可能我这里网速有点慢，但是感觉比正常下载还要慢，请问有没有什么办法可以加快爬取速度吗？

Charles未晞

requests模块，例如这样：

1. with closing(requests.get(download_url, headers=self.headers, stream=True)) as response:
   
2.             chunk_size = 1024
   
3.             content_size = int(response.headers['content-length'])
   
4.             if response.status_code == 200:
   
5.                 sys.stdout.write('[File Size]: %0.2f MB\n' % (content_size/chunk_size/1024))
   
6.                 with open(path, 'wb') as f:
   
7.                     for data in response.iter_content(chunk_size=chunk_size):
   
8.                         f.write(data)
   
9.                         size += len(data)
   
10.                         f.flush()
    
11.                         sys.stdout.write('[Progress]: %0.2f%%' % float(size/content_size*100) + '\r')
    
12.                         sys.stdout.flush()

复制代码

设置chunk_size应该可以提高一点速度。
成功请帮忙采纳。

fan1993423

各位大佬有没有什么好方法

Charles未晞

用requests模块，类似这样：

1. with closing(requests.get(download_url, headers=self.headers, stream=True)) as response:
   
2.             chunk_size = 1024
   
3.             content_size = int(response.headers['content-length'])
   
4.             if response.status_code == 200:
   
5.                 sys.stdout.write('[File Size]: %0.2f MB\n' % (content_size/chunk_size/1024))
   
6.                 with open(path, 'wb') as f:
   
7.                     for data in response.iter_content(chunk_size=chunk_size):
   
8.                         f.write(data)
   
9.                         size += len(data)
   
10.                         f.flush()
    
11.                         sys.stdout.write('[Progress]: %0.2f%%' % float(size/content_size*100) + '\r')
    
12.                         sys.stdout.flush()

复制代码

修改chunk_size加快速度。

1. from contextlib import closing

复制代码

fan1993423

Charles未晞 发表于 2018-6-7 11:28
用requests模块，类似这样：

修改chunk_size加快速度。

感觉这像个类，大佬，能稍微说明一下这段代码的意思吗？