鱼C论坛

 找回密码
 立即注册
查看: 7051|回复: 225

[作品展示] 发一只我一直在用的爬虫——爬取“解闷”动态图的爬虫,绅士不妨留步^=^

  [复制链接]
最佳答案
0 
发表于 2017-10-12 20:28:43 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 疾风。意破天晴 于 2018-5-27 13:56 编辑

因为GIF这种东西似乎从诞生到现在一直挺流行的,所以我今天再来爬上一记^_^
我用爬虫也不是一天两天了,所以应该有资格给新新手们指导一下了:
爬一个页面在我看来就三步,一定位想要的资源,二搞清页面的结构,三理出程序的结构。
第一和第二步做好了,你就能得到爬虫的攀爬路径,然后根据此路径便可做到第三步,届时你的程序就差不多编好了,然后就来到最终的:
while 1:
        try:
                run my app
                break
        except:
                fix my app
说一下我在刚学爬虫时遇到的问题:
1:        出现 ModuleNotFoundError: No module named "ooxxooxx"?
        那么就去pip安装相应的包(其实代码语言排错和静态语言比起来简直太容易了,基本无需Debug,只要你英语过得去,那么根据错误提示一般都能                       
        解决问题)
2:        怎么爬ajax的页面?
        在当前页面右键审查元素,然后找到Network下的xhr,当有ajax请求时会有记录
3:        网站网络不稳定,或者有反爬虫机制怎么办?
        在当前页面右键审查元素,然后把请求头复制一份,每次提取完资源后都time.sleep(second),并且每次尝试抓取做好异常处理(防止中断)并设置               
        timeout(防止死等),具体的可以参照我的代码。
好了,就这些,你以为爬虫是个什么东西?,看看学校图书馆里面那么一堆的书把你们吓的。。。作一个基本爬虫,这就是你所需要的全部。

游客,如果您要查看本帖隐藏内容请回复

福利图片:
0.gif
1.gif
2.gif
3.gif

相关网址推荐:
http://www.gifjia.com/category/neihan/(GIF发源地): (这个应该都听过

http://www.fulibae.com/ (福利社)(这里面就挺杂的了,寂寞了看看吧

have good day^_^

评分

参与人数 2荣誉 +6 鱼币 +6 贡献 +3 收起 理由
理想小青年 + 1 + 1 支持楼主!
膜法记者 + 5 + 5 + 3 感谢楼主无私奉献!

查看全部评分

最佳答案
234 
发表于 2017-10-12 20:36:25 | 显示全部楼层
放我下车,我的身体一天不如一天了,不能再上车了
最佳答案
0 
发表于 2017-10-12 22:39:11 | 显示全部楼层
让鸡儿放天假
最佳答案
0 
发表于 2017-10-12 23:20:54 | 显示全部楼层
啦啦啦
最佳答案
0 
发表于 2017-10-13 09:34:16 | 显示全部楼层
最佳答案
1 
发表于 2017-10-13 17:08:53 | 显示全部楼层
看看看看,嘿嘿嘿
最佳答案
0 
发表于 2017-10-13 17:22:18 | 显示全部楼层
代码,惊现
最佳答案
0 
发表于 2017-10-13 19:06:58 | 显示全部楼层
好东西啊,谢谢楼主分享
最佳答案
0 
发表于 2017-10-13 22:20:00 | 显示全部楼层
最佳答案
0 
发表于 2017-10-14 11:21:07 | 显示全部楼层
厉害了
最佳答案
0 
发表于 2017-10-14 11:59:42 | 显示全部楼层
路过看看。。
最佳答案
10 
发表于 2017-10-14 13:07:55 | 显示全部楼层
学习代码
最佳答案
0 
发表于 2017-10-14 13:10:10 | 显示全部楼层
既得福利,又学知识,不错。
最佳答案
0 
发表于 2017-10-14 15:01:52 | 显示全部楼层
见识一下
最佳答案
0 
发表于 2017-10-14 21:13:47 | 显示全部楼层
学习代码
最佳答案
0 
发表于 2017-10-15 16:17:58 From FishC Mobile | 显示全部楼层
不是说不用回复就可以看码
最佳答案
0 
发表于 2017-10-15 17:32:30 | 显示全部楼层
试试看
最佳答案
0 
发表于 2017-10-16 17:07:50 | 显示全部楼层
看看
最佳答案
2 
发表于 2017-10-16 17:26:41 | 显示全部楼层
赞一个,围观网址推荐
最佳答案
0 
发表于 2017-10-16 20:53:53 | 显示全部楼层
学习知识
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2018-8-19 04:34

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表