求爬视频加快爬取的方法

fan1993423

我在爬取视频的时候（.mp4等）的时候不管是用urllib.request.urlretrieve,还是用file.write()的方式感觉下载速度太慢，可能我这里网速有点慢，但是感觉比正常下载还要慢，请问有没有什么办法可以加快爬取速度吗？

Charles未晞

requests模块，例如这样：

 with closing(requests.get(download_url, headers=self.headers, stream=True)) as response:
            chunk_size = 1024
            content_size = int(response.headers['content-length'])
            if response.status_code == 200:
                sys.stdout.write('[File Size]: %0.2f MB\n' % (content_size/chunk_size/1024))
                with open(path, 'wb') as f:
                    for data in response.iter_content(chunk_size=chunk_size):
                        f.write(data)
                        size += len(data)
                        f.flush()
                        sys.stdout.write('[Progress]: %0.2f%%' % float(size/content_size*100) + '\r')
                        sys.stdout.flush()

设置chunk_size应该可以提高一点速度。
成功请帮忙采纳。

fan1993423

各位大佬有没有什么好方法

Charles未晞

用requests模块，类似这样：

with closing(requests.get(download_url, headers=self.headers, stream=True)) as response:
            chunk_size = 1024
            content_size = int(response.headers['content-length'])
            if response.status_code == 200:
                sys.stdout.write('[File Size]: %0.2f MB\n' % (content_size/chunk_size/1024))
                with open(path, 'wb') as f:
                    for data in response.iter_content(chunk_size=chunk_size):
                        f.write(data)
                        size += len(data)
                        f.flush()
                        sys.stdout.write('[Progress]: %0.2f%%' % float(size/content_size*100) + '\r')
                        sys.stdout.flush()

修改chunk_size加快速度。

from contextlib import closing

fan1993423

Charles未晞 发表于 2018-6-7 11:28
用requests模块，类似这样：

修改chunk_size加快速度。

感觉这像个类，大佬，能稍微说明一下这段代码的意思吗？