鱼C论坛

 找回密码
 立即注册
查看: 10463|回复: 34

[作品展示] 【第四版】pyspider框架爬取笔趣阁小说

[复制链接]
发表于 2020-3-15 21:56:09 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 admintest166 于 2020-3-15 22:47 编辑

最近爬取太多了的妹子图了 有点索然无味了  

但是手又痒 总想要搞事情 先是爬取了fishc下所有python版块的帖子

发现不好玩 最后看见大佬发了一个天气的 https://fishc.com.cn/thread-158556-1-1.html

然后用了一下 发现有个小说的关键字 提醒了我 小说网站是我以前入门爬虫一直没有逾越的坎

是以至此 我也不装了 我摊牌了

由于明天还要上网课 简单做了一下 原本是想把整个网站爬完去 已结我心里的坎  

但是我发现我又不看小说 爬完也没用 占空间  代码在下方 回复即可  你们想要爬完这个网站 修改一下就行 改下CSS选择器加个方法啥的

最近弄pyspider有点上头了  但是呢 在linux下 pyspider的爬取速度 比windows快一丢丢

(我linux上部署pyspider光BUG都解决了半个小时

上图! 索然无味呀
游客,如果您要查看本帖隐藏内容请回复

QQ图片20200315215403.png
QQ图片20200315215431.png
QQ图片20200315215443.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-15 22:11:36 | 显示全部楼层
贴代码要用这种格式!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-15 22:15:51 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-15 22:32:26 | 显示全部楼层
在linux下 应该是文件类型的原因 导致没有办法将内容写入 有一部分有 有一部分没有 但是在windows下正常

有空再修复一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-15 22:45:50 | 显示全部楼层
linux下的写入问题 已查明

是linux系统的原因 在linux中无论是cat 还是vim/vi 都显示为空 但是下载到windows却是有内容的 所以如果是linux的同学不用慌 下载到windows就行了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-15 23:58:22 | 显示全部楼层
假面的假面 发表于 2020-3-15 22:45
使用3.8的版本。在pip install pyspider之后系统提示安装完毕,但是在开启的时候系统进行了报错提醒,不知 ...

因为async这个关键字
参考https://blog.csdn.net/weixin_41698864/article/details/89444910
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-18 16:32:48 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-18 19:55:10 | 显示全部楼层
楼主很骚
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-3-19 12:16:58 | 显示全部楼层
瞧瞧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-19 13:26:35 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-21 19:05:01 | 显示全部楼层
学习观摩
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-3-30 22:46:50 | 显示全部楼层
6
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-4-3 21:55:29 From FishC Mobile | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-9 16:37:06 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-4-9 16:55:58 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-4-9 17:47:38 | 显示全部楼层
小说沉迷者的福音啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-5-3 14:50:14 | 显示全部楼层
谢谢分享~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-5-3 14:51:46 From FishC Mobile | 显示全部楼层
有反爬啊,你爬长篇小说有木有遇到
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-5-3 18:06:23 | 显示全部楼层
wp231957 发表于 2020-5-3 14:51
有反爬啊,你爬长篇小说有木有遇到

没有啊 我连headers都不没加
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-5-3 18:29:12 From FishC Mobile | 显示全部楼层
admintest166 发表于 2020-5-3 18:06
没有啊 我连headers都不没加


我爬了一个2000多章的小说,有时下载七八十章,就挂掉,最好的没过200章,当然了,我不是用python爬的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-25 10:50

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表