发一只我一直在用的爬虫——爬取“解闷”动态图的爬虫，绅士不妨留步^=^

疾风。意破天晴 · 发表于 2017-10-12 20:28:43

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由疾风。意破天晴于 2018-5-27 13:56 编辑

因为GIF这种东西似乎从诞生到现在一直挺流行的，所以我今天再来爬上一记^_^
我用爬虫也不是一天两天了，所以应该有资格给新新手们指导一下了：
爬一个页面在我看来就三步，一定位想要的资源，二搞清页面的结构，三理出程序的结构。
第一和第二步做好了，你就能得到爬虫的攀爬路径，然后根据此路径便可做到第三步，届时你的程序就差不多编好了，然后就来到最终的:
while 1:
try:
run my app
break
except:
fix my app
说一下我在刚学爬虫时遇到的问题：
1：出现 ModuleNotFoundError: No module named "ooxxooxx"？
那么就去pip安装相应的包（其实代码语言排错和静态语言比起来简直太容易了，基本无需Debug，只要你英语过得去，那么根据错误提示一般都能
解决问题）
2：怎么爬ajax的页面？
在当前页面右键审查元素，然后找到Network下的xhr，当有ajax请求时会有记录
3：网站网络不稳定，或者有反爬虫机制怎么办？
在当前页面右键审查元素，然后把请求头复制一份，每次提取完资源后都time.sleep(second)，并且每次尝试抓取做好异常处理（防止中断）并设置
timeout（防止死等），具体的可以参照我的代码。
好了，就这些，你以为爬虫是个什么东西？，看看学校图书馆里面那么一堆的书把你们吓的。。。作一个基本爬虫，这就是你所需要的全部。

游客，如果您要查看本帖隐藏内容请回复

福利图片:

相关网址推荐：
http://www.gifjia.com/category/neihan/（GIF发源地）：（这个应该都听过

）

http://www.fulibae.com/ （福利社）（这里面就挺杂的了，寂寞了看看吧

）

have good day^_^

丶忘却的年少o · 发表于 2017-10-12 20:36:25

放我下车，我的身体一天不如一天了，不能再上车了

小木偶 · 发表于 2017-10-12 22:39:11

让鸡儿放天假

熊爱荔枝 · 发表于 2017-10-12 23:20:54

啦啦啦

yunzhongzhuhuo · 发表于 2017-10-13 09:34:16

WP叶超 · 发表于 2017-10-13 17:08:53

看看看看，嘿嘿嘿

nobocly · 发表于 2017-10-13 17:22:18

代码，惊现

无与杰嵩1 · 发表于 2017-10-13 19:06:58

好东西啊，谢谢楼主分享

瓦蓝 · 发表于 2017-10-13 22:20:00

1173419450 · 发表于 2017-10-14 11:21:07

厉害了

dux6159 · 发表于 2017-10-14 11:59:42

路过看看。。

xindong · 发表于 2017-10-14 13:07:55

学习代码

mmggkk1000 · 发表于 2017-10-14 13:10:10

既得福利，又学知识，不错。

hbxj2017 · 发表于 2017-10-14 15:01:52

见识一下

Anner5 · 发表于 2017-10-14 21:13:47

学习代码

aishiwei · 发表于 2017-10-15 16:17:58

不是说不用回复就可以看码

不做试验了 · 发表于 2017-10-15 17:32:30

试试看

gl5703 · 发表于 2017-10-16 17:07:50

看看

lakerszhy · 发表于 2017-10-16 17:26:41

赞一个，围观网址推荐

Mojito · 发表于 2017-10-16 20:53:53

学习知识

账号		自动登录	找回密码
密码			立即注册

[作品展示] 发一只我一直在用的爬虫——爬取“解闷”动态图的爬虫，绅士不妨留步^=^

马上注册，结交更多好友，享用更多功能^_^

评分