【第四版】pyspider框架爬取笔趣阁小说

admintest166 · 发表于 2020-3-15 21:56:09

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 admintest166 于 2020-3-15 22:47 编辑

最近爬取太多了的妹子图了有点索然无味了

但是手又痒总想要搞事情先是爬取了fishc下所有python版块的帖子

发现不好玩最后看见大佬发了一个天气的 https://fishc.com.cn/thread-158556-1-1.html

然后用了一下发现有个小说的关键字提醒了我小说网站是我以前入门爬虫一直没有逾越的坎

是以至此我也不装了我摊牌了

由于明天还要上网课简单做了一下原本是想把整个网站爬完去已结我心里的坎

但是我发现我又不看小说爬完也没用占空间  代码在下方回复即可  你们想要爬完这个网站修改一下就行改下CSS选择器加个方法啥的

最近弄pyspider有点上头了  但是呢在linux下 pyspider的爬取速度比windows快一丢丢

（我linux上部署pyspider光BUG都解决了半个小时

）

上图！索然无味呀

游客，如果您要查看本帖隐藏内容请回复

一个账号 · 发表于 2020-3-15 22:11:36

贴代码要用这种格式！

admintest166 · 发表于 2020-3-15 22:15:51

一个账号发表于 2020-3-15 22:11

好哒

admintest166 · 发表于 2020-3-15 22:32:26

在linux下应该是文件类型的原因导致没有办法将内容写入有一部分有有一部分没有但是在windows下正常

有空再修复一下

admintest166 · 发表于 2020-3-15 22:45:50

linux下的写入问题已查明

是linux系统的原因在linux中无论是cat 还是vim/vi 都显示为空但是下载到windows却是有内容的所以如果是linux的同学不用慌下载到windows就行了

admintest166 · 发表于 2020-3-15 23:58:22

假面的假面发表于 2020-3-15 22:45
使用3.8的版本。在pip install pyspider之后系统提示安装完毕，但是在开启的时候系统进行了报错提醒，不知 ...

因为async这个关键字
参考https://blog.csdn.net/weixin_41698864/article/details/89444910

admintest166 · 发表于 2020-3-18 16:32:48

[s]墨竹 · 发表于 2020-3-18 19:55:10

楼主很骚

海贼王是我的 · 发表于 2020-3-19 12:16:58

瞧瞧

TomsShelby · 发表于 2020-3-19 13:26:35

看看

hanbing9989 · 发表于 2020-3-21 19:05:01

学习观摩

loveQQW · 发表于 2020-3-30 22:46:50

18274508008 · 发表于 2020-4-3 21:55:29

感谢分享

chess12 · 发表于 2020-4-9 16:37:06

雪之下雪乃. · 发表于 2020-4-9 16:55:58

看看

huwanjia · 发表于 2020-4-9 17:47:38

小说沉迷者的福音啊

turbo_sun · 发表于 2020-5-3 14:50:14

谢谢分享~~~

wp231957 · 发表于 2020-5-3 14:51:46

有反爬啊，你爬长篇小说有木有遇到

admintest166 · 发表于 2020-5-3 18:06:23

wp231957 发表于 2020-5-3 14:51
有反爬啊，你爬长篇小说有木有遇到

没有啊我连headers都不没加

wp231957 · 发表于 2020-5-3 18:29:12

admintest166 发表于 2020-5-3 18:06
没有啊我连headers都不没加

我爬了一个2000多章的小说，有时下载七八十章，就挂掉，最好的没过200章，当然了，我不是用python爬的

账号		自动登录	找回密码
密码			立即注册

[作品展示] 【第四版】pyspider框架爬取笔趣阁小说

马上注册，结交更多好友，享用更多功能^_^