urllib模块以及进阶版requests 模块实战之爬取妹子图、有道翻译以及百度贴吧

°蓝鲤歌蓝 · 发表于 2017-12-30 15:29:29

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 °蓝鲤歌蓝于 2018-1-26 11:37 编辑

小甲鱼大大没有关于 requests 模块的视频，我只有自己慢慢摸索。在论坛里看到最多的就是爬取妹子图，百度贴吧和有道翻译。

不过大多数都是使用 urllib 模块。所以我想将自己在论坛里学到的知识分享出来，在这里使用 requests 模块爬取三种常见的网站，

欢迎各位来此交流，也请各位前辈斧正。(于2018.01.26增添 urllib 模块)

如果学完视频的小伙伴想继续学习 requests 模块，可以点此进入

Requests模块帮助文档（小甲鱼版）

http://bbs.fishc.com/thread-95893-1-1.html(出处: 鱼C论坛)

里面有小甲鱼老师的详细讲解。

一. 爬取妹子图。

网址：http://www.meizitu.com/

# requests 模块

游客，如果您要查看本帖隐藏内容请回复

# urllib.request模块

游客，如果您要查看本帖隐藏内容请回复

二.爬取有道词典
# requests模块

游客，如果您要查看本帖隐藏内容请回复

# urllib模块

游客，如果您要查看本帖隐藏内容请回复

有前两个案例，大家可以自己尝试把下面的例子用urllib模块改写，测试一下自己学得怎么样以及加强认知。

三.爬取百度贴吧图片
https://tieba.baidu.com/p/5085123197

游客，如果您要查看本帖隐藏内容请回复

最后附上进程教学:
1."requests+BeautifulSoup4+Excel":http://bbs.fishc.com/thread-102458-1-1.html
2."绅士交流,妹子图网页套图爬取":http://bbs.fishc.com/thread-102299-1-1.html
3."小甲鱼老师的爬取豆瓣电影TOP250":http://bbs.fishc.com/thread-94979-1-1.html
4."我的多线程与多进程爬取豆瓣TOP250":http://bbs.fishc.com/thread-103198-1-1.html
5."什么？python还可以爬视频？！"：http://bbs.fishc.com/thread-103503-1-1.html

小甲鱼 · 发表于 2018-1-2 10:26:57

前排插个广告 ->《极客Python之效率革命》有讲解 Requests 的案例

何乐何为 · 发表于 2017-12-30 15:44:29

666666666

bjcce · 发表于 2017-12-30 15:58:56

辛苦了，谢谢。

追风的小树叶子 · 发表于 2017-12-30 16:23:07

不错

JAY饭 · 发表于 2017-12-30 16:36:15

支持

py大神 · 发表于 2017-12-30 16:55:42

刚进论坛，看到这图片吓我一跳，还以为进错网站了2333

°蓝鲤歌蓝 · 发表于 2017-12-30 17:04:24

py大神发表于 2017-12-30 16:55
刚进论坛，看到这图片吓我一跳，还以为进错网站了2333

我只看代码，不怎么会看图。真的

SSSRhac · 发表于 2017-12-30 17:20:51

感谢楼主

悲伤的自由 · 发表于 2017-12-30 17:27:23

正在学习这部分，前来考察

jj6 · 发表于 2017-12-30 17:59:32

学习一下

1223849716 · 发表于 2017-12-30 18:02:20

1223849716 · 发表于 2017-12-30 18:04:34

老司机

Btanc · 发表于 2017-12-30 18:31:06

666666

brooot · 发表于 2017-12-30 18:39:28

66666

胃里有只猪 · 发表于 2017-12-30 19:02:42

支持一下

cstar · 发表于 2017-12-30 19:20:31

Zmynx_2017 · 发表于 2017-12-30 20:15:26

andsomesmile · 发表于 2017-12-30 20:16:36

还没接触过爬虫，看着应该很让人感兴趣

李白-千年之狐 · 发表于 2017-12-30 20:58:35

看看

XLfishc · 发表于 2017-12-30 21:18:42

小白来学习啦

账号		自动登录	找回密码
密码			立即注册

[作品展示] urllib模块以及进阶版requests 模块实战之爬取妹子图、有道翻译以及百度贴吧

马上注册，结交更多好友，享用更多功能^_^

评分

本帖被以下淘专辑推荐: