【Python】【更好的爬虫文件下载函数】urlretrieve官方源代码自定义改写
本帖最后由 591821661 于 2021-10-17 15:33 编辑urlretrieve 常被用于下载文件,属于urllib库
笔者是urllib库的忠实粉丝,但是突然有一天发现这个库函数不够给力啊!(起因是爬取某知名视频网站的时候被挡住了,因为有防盗链机制)
在逼乎上一搜,发现没有明确解决办法,评论也都是在和稀泥。
为消除很多实际使用的上痛点,抱着试一试的心态,自己改写源代码。(学者强烈建议多看源码,提升很大)
经过测试,实际效果很不错故特地开源给互联网的广大朋友们。
应用实例
import urllib.request
import sys # 如果需要显示下载进度的话,需要导入此模组
urlretrieve_evo_headers = [('referer', referer_url),('User-agent', UA)]
Vsize = urlretrieve_evo(video_download_url,filename='%s_Video.m4s'%video_downpath,headers=urlretrieve_evo_headers)
**** Hidden Message ***** 11 把用的包标注一下吧
zh19990906 发表于 2021-10-15 16:17
把用的包标注一下吧
已经添加 1111 00x
看看源码
页:
[1]