鱼C论坛

 找回密码
 立即注册
查看: 2248|回复: 192

[作品展示] 很惭愧、写了一个小爬虫

  [复制链接]
最佳答案
2 
发表于 2018-7-22 11:19:32 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 罗同学 于 2018-7-29 11:15 编辑

写了一个多线程爬某网站分享区的图片,之前写的只能一个页面一个页面的爬,还经常被远程服务器关闭,这几天看了多线程的教程修改了一下亲测有效。(毕竟看名字都ver3版了)。看到这有人估计想问到底是爬什么的,看图里面的名字应该能猜出来吧,至于爬到的结果,emmmm为了我们论坛的长足发展为了和谐就不放了,自己去用代码试吧。
QQ截图.png



请注意第49和第50行的备注内容哦:
(1)默认就爬第一页的所有贴(少年要节制),有需求的话、自己用for循环把'page='后面的数字改一下就可以爬多个页面了、相信各位是都会的
(2)从网页中解析出来的地址前面还要加上一个通过一的开头才能打开,如果哪天不能用了请先自己去网站看下是不是这个开头变了
第60行注释掉的内容,爬第一页的时候建议取消注释,第一页还有什么版规什么的,可以过滤掉
第24、25、41行的os命令注释掉了、本来想按帖子名分文件夹进行保存、但是多线程并发会导致工作目录混乱、导致各种报错。如果哪位大神有办法了可以来分享~所以换了个折中的方法,将图片的名字设置成了帖子名加图片名,这样一个帖子的图片就可以按顺序排在一起了。昨晚临时写了一个根据名字分文件夹的代码,但是还不太完美,后续 调好了看看再发上来。


写了这么多、第一次分享,喜欢的欢迎点个收藏(其实是第二次,上次分享的ver1由于贴了图,虽然打了码但还是被和谐了、所以这次大家就自己去体会吧)


2018.07.29更新
大家爬了之后来给个反馈哈 (纯洁的微笑)

游客,如果您要查看本帖隐藏内容请回复

评分

参与人数 1荣誉 +1 收起 理由
柯毅哲 + 1

查看全部评分

最佳答案
0 
发表于 2018-7-22 23:44:58 | 显示全部楼层
以学习的名义,哈哈
最佳答案
0 
发表于 2018-7-23 00:04:52 | 显示全部楼层
xuexile
最佳答案
0 
发表于 2018-7-23 00:47:19 | 显示全部楼层
学习爬虫经验
最佳答案
0 
发表于 2018-7-23 01:22:12 From FishC Mobile | 显示全部楼层
学习了
最佳答案
0 
发表于 2018-7-23 05:54:07 | 显示全部楼层
借鉴学习
最佳答案
0 
发表于 2018-7-23 08:31:41 | 显示全部楼层
多线程的?这个证需要呢。。。
最佳答案
2 
 楼主| 发表于 2018-7-23 22:30:44 | 显示全部楼层
titanss 发表于 2018-7-22 23:44
以学习的名义,哈哈

一次爬一页哦、要注意身体哦
最佳答案
7 
发表于 2018-7-24 07:26:14 | 显示全部楼层
学习
最佳答案
0 
发表于 2018-7-24 08:45:17 | 显示全部楼层
学习下
最佳答案
0 
发表于 2018-7-24 08:51:04 | 显示全部楼层
1
最佳答案
1 
发表于 2018-7-24 08:51:55 | 显示全部楼层
最佳答案
0 
发表于 2018-7-24 08:55:46 | 显示全部楼层
感谢楼主
最佳答案
0 
发表于 2018-7-24 08:56:06 | 显示全部楼层
厉害楼
最佳答案
0 
发表于 2018-7-24 11:20:32 | 显示全部楼层
学习一下看看
最佳答案
0 
发表于 2018-7-24 11:55:16 | 显示全部楼层
以学习的名义
最佳答案
0 
发表于 2018-7-24 13:27:35 | 显示全部楼层
学习学习
最佳答案
0 
发表于 2018-7-24 14:31:42 | 显示全部楼层
以学习的名义!
最佳答案
0 
发表于 2018-7-24 15:21:56 | 显示全部楼层
学习
最佳答案
0 
发表于 2018-7-24 15:49:19 | 显示全部楼层
我不管,我要看
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2018-8-16 12:06

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表