591821661 发表于 2021-10-9 23:32:42

【Python】【更好的爬虫文件下载函数】urlretrieve官方源代码自定义改写

本帖最后由 591821661 于 2021-10-17 15:33 编辑

urlretrieve 常被用于下载文件,属于urllib库
笔者是urllib库的忠实粉丝,但是突然有一天发现这个库函数不够给力啊!(起因是爬取某知名视频网站的时候被挡住了,因为有防盗链机制)
在逼乎上一搜,发现没有明确解决办法,评论也都是在和稀泥。

为消除很多实际使用的上痛点,抱着试一试的心态,自己改写源代码。(学者强烈建议多看源码,提升很大)
经过测试,实际效果很不错故特地开源给互联网的广大朋友们。



应用实例
import urllib.request
import sys # 如果需要显示下载进度的话,需要导入此模组
urlretrieve_evo_headers = [('referer', referer_url),('User-agent', UA)]
Vsize = urlretrieve_evo(video_download_url,filename='%s_Video.m4s'%video_downpath,headers=urlretrieve_evo_headers)
                  
**** Hidden Message *****

zh19990906 发表于 2021-10-15 16:15:26

11

zh19990906 发表于 2021-10-15 16:17:39

把用的包标注一下吧

591821661 发表于 2021-10-17 15:33:43

zh19990906 发表于 2021-10-15 16:17
把用的包标注一下吧

已经添加

浅A忆 发表于 2022-9-2 22:26:40

1111

zsy0226 发表于 2022-10-17 18:26:50

00x

python小小白哟 发表于 2022-11-2 13:30:09

看看源码
页: [1]
查看完整版本: 【Python】【更好的爬虫文件下载函数】urlretrieve官方源代码自定义改写