鱼C论坛

 找回密码
 立即注册
查看: 62253|回复: 1218

[作品展示] [更新2020.2.17]爬虫:一只爬取yande.re的妹子图爬虫(15禁)

  [复制链接]
发表于 2018-8-15 19:49:38 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 拉了盏灯 于 2020-2-17 12:02 编辑


今天闲来无事,就写个小爬虫,来爬取Y站上那些嘿嘿嘿 的图片,
需要准备一个F盘,文件存在F://good_imgs里。

之前论坛上也有一个爬取Y站的帖子,但那都是15年的了,而且每次爬相同的,功能较少,我就重新写了个小爬虫,
可以自选页数,指定爬取页数,从指定页数爬就设置s_page选项,默认为1。
写的不好勿喷,

8/23:添加了time,还加了headers,把如果删除文件夹给去掉了。然鹅不知道什么原因现在yande爬不了。

8/25:经过这两天研究发现,yande.re的服务器时常抽,因为架设在海外,这种小问题还是可以理解的,
如果大家遇到Timeout 或者远程主机关闭了一个连接的话,最好的方法还是等,也许睡一觉第二天又OK了,

8/31:又修复了个小BUG,体验更佳。
PS:今天是初音生日伐,一整页都是关于初音。

2018.9/12:优化了代码,
在这提醒大家一句,
小爬怡情,
大爬伤身,
强爬灰飞烟灭,

2020.2.17在家呆了这么久突然想起来这个,不知道还有没有人用,还是维护一下吧,今天测试了下,要翻墙才能下,没有梯子会无响应,

所以有节制的爬才能可持续发展,
游客,如果您要查看本帖隐藏内容请回复
无标题.png
heihei.png

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-16 14:59:01 | 显示全部楼层
流量
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-16 15:31:42 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 0 反对 1

使用道具 举报

发表于 2018-8-16 15:37:00 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-16 16:36:30 | 显示全部楼层
老铁没毛病
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 17:33:58 | 显示全部楼层
好简洁,66666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 17:43:53 | 显示全部楼层
楼主好牛逼啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 17:54:53 | 显示全部楼层
niub
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-16 17:54:58 | 显示全部楼层

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-16 17:57:54 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-17 06:07:47 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-17 10:53:13 | 显示全部楼层
来参观参观
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 14:49:20 | 显示全部楼层
1111111111111111111111111
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 16:02:48 | 显示全部楼层
参考一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 16:12:56 | 显示全部楼层
E:\python_pycharm\venv\Scripts\python.exe E:/python_pycharm/p2.py
  File "E:/python_pycharm/p2.py", line 26
SyntaxError: Non-ASCII character '\xe8' in file E:/python_pycharm/p2.py on line 26, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

Process finished with exit code 1
不知道这个是什么错误,请指教
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-8-17 16:17:39 | 显示全部楼层
战机智 发表于 2018-8-17 16:12
E:\python_pycharm\venv\Scripts\python.exe E:/python_pycharm/p2.py
  File "E:/python_pycharm/p2.py", ...

不怎么看得懂,好像是你那一段检测到非ASCII吗的东西,
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 16:19:56 | 显示全部楼层
拉了盏灯 发表于 2018-8-17 16:17
不怎么看得懂,好像是你那一段检测到非ASCII吗的东西,

26行是
main(input('请输入要爬取的页数:'))
????是不是要配置些什么啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-8-17 16:25:10 | 显示全部楼层
你在第0行输入
# coding:utf-8
配置一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 16:25:22 | 显示全部楼层

学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-17 16:31:37 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-15 07:48

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表