鱼C论坛

 找回密码
 立即注册
查看: 3739|回复: 6

[技术交流] 【Python】【更好的爬虫文件下载函数】urlretrieve官方源代码自定义改写

[复制链接]
发表于 2021-10-9 23:32:42 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 591821661 于 2021-10-17 15:33 编辑

urlretrieve 常被用于下载文件,属于urllib库
笔者是urllib库的忠实粉丝,但是突然有一天发现这个库函数不够给力啊!(起因是爬取某知名视频网站的时候被挡住了,因为有防盗链机制)
在逼乎上一搜,发现没有明确解决办法,评论也都是在和稀泥。

为消除很多实际使用的上痛点,抱着试一试的心态,自己改写源代码。(学者强烈建议多看源码,提升很大)
经过测试,实际效果很不错故特地开源给互联网的广大朋友们。



应用实例
import urllib.request
import sys # 如果需要显示下载进度的话,需要导入此模组

urlretrieve_evo_headers = [('referer', referer_url),('User-agent', UA)]
Vsize = urlretrieve_evo(video_download_url,filename='%s_Video.m4s'%video_downpath,headers=urlretrieve_evo_headers)
                    
游客,如果您要查看本帖隐藏内容请回复

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-10-15 16:15:26 | 显示全部楼层
11
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-10-15 16:17:39 | 显示全部楼层
把用的包标注一下吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-10-17 15:33:43 | 显示全部楼层
zh19990906 发表于 2021-10-15 16:17
把用的包标注一下吧

已经添加
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-9-2 22:26:40 | 显示全部楼层
1111
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-10-17 18:26:50 | 显示全部楼层
00x
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-11-2 13:30:09 | 显示全部楼层
看看源码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 18:20

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表