鱼C论坛

 找回密码
 立即注册
查看: 6076|回复: 43

[技术交流] 爬虫之下载 pdf 和 mp4 文件

[复制链接]
发表于 2021-2-16 13:59:12 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
Hello 大家好,我又来了

这一次给大家带来的是,在使用爬虫获取了对应的 pdf 或 mp4 文件的链接后,如何将对应的文件保存在本地

参考了站外不同大佬的文章,最后发现了一件很神奇的事情,pdf 和 mp4 文件都是以二进制形式写入文件的,即均可以使用 wb 模式进行写入

此处穿插一句题外话,如果需要使用正则表达式匹配所有的 pdf 或 mp4 文件的链接, 可以使用如下方法:
m = r'<a href="([^"]+\.pdf|[^"]+\.mp4)"'
match = re.findall(m, html)

记住要 import re 模块

那么接下来就上代码,看看到底如何下载对应的 pdf 或 mp4 文件
import ssl, requests

def pdf_download(url):
    ssl._create_default_https_context = ssl._create_unverified_context        # 此处是我自己的电脑需要的,请按照自己的实际情况添加
    r = requests.get(url)

    filename = url.split('/')[-1]        # 获取到的文件名自带 .pdf 或 .mp4 文件后缀

    with open(filename, "wb") as code:        # 二进制写入
        code.write(r.content)

pdf_download('此处填写对应的 mp4 或者 pdf 文件的链接,链接是以.pdf 或 .mp4 结尾的')

其他文件类型暂时还没有研究,不过只要是以二进制写入的,应该就能通用

评论本帖获取完整爬虫代码~

游客,如果您要查看本帖隐藏内容请回复

评分

参与人数 1荣誉 +3 鱼币 +3 贡献 +3 收起 理由
糖甜弯了嘴 + 3 + 3 + 3 感谢楼主无私奉献!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2021-2-18 15:29:57 | 显示全部楼层
本帖最后由 Daniel_Zhang 于 2021-2-18 15:33 编辑
wp231957 发表于 2021-2-18 09:04
ssl._create_default_https_context = ssl._create_unverified_context        # 此处是我自己的电脑需要的 ...


我跑爬虫的时候 vscode 会跑一个 ssl 的异常,google了一下也不知道为啥,只知道加上这个就解决了

如下所示

https://www.cnblogs.com/lizm166/p/10001096.html
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-5-12 17:58:03 | 显示全部楼层
学习学习,下载MP4
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-4-30 15:36:03 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-3-17 15:34:14 | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-15 09:55:43 From FishC Mobile | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-3-11 10:24:07 | 显示全部楼层
66666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-11 10:23:07 | 显示全部楼层
厉害,学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-11 09:56:49 From FishC Mobile | 显示全部楼层
学习了,厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-1 12:29:54 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-28 22:12:51 From FishC Mobile | 显示全部楼层
好像是很厉害的样子,我没有时间学。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-21 09:56:18 | 显示全部楼层

虽然看不懂 但是很厉害的样子
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-21 09:09:33 | 显示全部楼层

回帖奖励 +2 鱼币

虽然看不懂 但是很厉害的样子
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-21 08:59:27 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-20 11:49:48 | 显示全部楼层

回帖奖励 +2 鱼币

感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-20 00:46:35 From FishC Mobile | 显示全部楼层

回帖奖励 +2 鱼币

感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-19 23:16:46 | 显示全部楼层

回帖奖励 +2 鱼币

学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-19 18:51:36 | 显示全部楼层

回帖奖励 +2 鱼币

学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-19 16:58:10 | 显示全部楼层

回帖奖励 +2 鱼币

学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-19 14:23:51 | 显示全部楼层

回帖奖励 +2 鱼币

学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-19 09:23:02 | 显示全部楼层

回帖奖励 +2 鱼币

6666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-19 07:35:48 | 显示全部楼层

回帖奖励 +2 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-15 21:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表