°蓝鲤歌蓝 发表于 2017-12-30 15:29:29

urllib模块以及进阶版requests 模块实战之爬取妹子图、有道翻译以及百度贴吧

本帖最后由 °蓝鲤歌蓝 于 2018-1-26 11:37 编辑

小甲鱼大大没有关于 requests 模块的视频，我只有自己慢慢摸索。在论坛里看到最多的就是爬取妹子图，百度贴吧和有道翻译。

不过大多数都是使用 urllib 模块。所以我想将自己在论坛里学到的知识分享出来，在这里使用 requests 模块 爬取三种常见的网站，

欢迎各位来此交流，也请各位前辈斧正。(于2018.01.26增添 urllib 模块)

如果学完视频的小伙伴想继续学习 requests 模块，可以点此进入

Requests模块帮助文档（小甲鱼版）

http://bbs.fishc.com/thread-95893-1-1.html(出处: 鱼C论坛)

里面有小甲鱼老师的详细讲解。


一. 爬取妹子图。

网址：http://www.meizitu.com/

# requests 模块
**** Hidden Message *****



# urllib.request模块
**** Hidden Message *****

二.爬取有道词典
# requests模块

**** Hidden Message *****



# urllib模块
**** Hidden Message *****


有前两个案例，大家可以自己尝试把下面的例子用urllib模块改写，测试一下自己学得怎么样以及加强认知。

三.爬取百度贴吧图片
https://tieba.baidu.com/p/5085123197

**** Hidden Message *****



最后附上进程教学:
1."requests+BeautifulSoup4+Excel":http://bbs.fishc.com/thread-102458-1-1.html
2."绅士交流,妹子图网页套图爬取":http://bbs.fishc.com/thread-102299-1-1.html
3."小甲鱼老师的爬取豆瓣电影TOP250":http://bbs.fishc.com/thread-94979-1-1.html
4."我的多线程与多进程爬取豆瓣TOP250":http://bbs.fishc.com/thread-103198-1-1.html
5."什么？python还可以爬视频？！"：http://bbs.fishc.com/thread-103503-1-1.html

小甲鱼 发表于 2018-1-2 10:26:57

前排插个广告 ->《极客Python之效率革命》有讲解 Requests 的案例 {:10_335:}

何乐何为 发表于 2017-12-30 15:44:29

666666666

bjcce 发表于 2017-12-30 15:58:56

辛苦了，谢谢。

追风的小树叶子 发表于 2017-12-30 16:23:07

不错

JAY饭 发表于 2017-12-30 16:36:15

{:9_236:}支持

py大神 发表于 2017-12-30 16:55:42

刚进论坛，看到这图片吓我一跳，还以为进错网站了2333

°蓝鲤歌蓝 发表于 2017-12-30 17:04:24

py大神 发表于 2017-12-30 16:55
刚进论坛，看到这图片吓我一跳，还以为进错网站了2333

我只看代码，不怎么会看图。真的{:10_249:}

SSSRhac 发表于 2017-12-30 17:20:51

感谢楼主

悲伤的自由 发表于 2017-12-30 17:27:23

正在学习这部分，前来考察{:10_256:}

jj6 发表于 2017-12-30 17:59:32

学习一下

1223849716 发表于 2017-12-30 18:02:20

哇

1223849716 发表于 2017-12-30 18:04:34

老司机

Btanc 发表于 2017-12-30 18:31:06

666666

brooot 发表于 2017-12-30 18:39:28

66666

胃里有只猪 发表于 2017-12-30 19:02:42

支持一下

cstar 发表于 2017-12-30 19:20:31

牛

Zmynx_2017 发表于 2017-12-30 20:15:26

1

andsomesmile 发表于 2017-12-30 20:16:36

还没接触过爬虫，看着应该很让人感兴趣

李白-千年之狐 发表于 2017-12-30 20:58:35

看看

XLfishc 发表于 2017-12-30 21:18:42

小白来学习啦
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: urllib模块以及进阶版requests 模块实战之爬取妹子图、有道翻译以及百度贴吧