网络小说爬虫之---庆余年

假面的假面 · 发表于 2020-9-29 23:56:51

去年国内的网络小说《庆余年》改变的电视剧很火很火，曾经去本地的图书馆去借书怎奈所有的书都被外借了出去，闲来无事找到了网络小说全篇的。手机看总会误触广告，很是烦人。所以研究了一些时日写了这么个程序。用最简单的代码爬取了全套小说。爬取网站为笔趣阁，默认情况下该网站的所有小说应该是都是可以正常爬取的，更换小说的目录地址即可。。。小白初学如有大神还请多多指点其中优化之道。

购买主题 已有 2 人购买 本主题需向作者支付 5 鱼币 才能浏览

自为其主 · 发表于 2020-9-30 15:44:09

你是用2.0版本？？？

假面的假面 · 发表于 2020-10-1 20:52:02

自为其主发表于 2020-9-30 15:44
你是用2.0版本？？？

什么2.0版本？

675583320 · 发表于 2020-10-2 12:48:33

我是新手，请问一下为什么你们发的代码我复制回去却运行不了呢

假面的假面 · 发表于 2020-10-2 14:12:18

675583320 发表于 2020-10-2 12:48
我是新手，请问一下为什么你们发的代码我复制回去却运行不了呢

有什么报错提示么？注意代码开头的import导入的包。默认状态下python是没有urllib和bs4这两个包的。需要用配置环境变量之后用pip install urllib和pip install bs4安装这两个第三方的包之后才可以的。

假面的假面 · 发表于 2020-11-14 22:37:19

深山小兽 · 发表于 2020-11-15 01:34:14

$U7IN$_B_LNTU8(4BZB{7I84.png$

兄弟我用你的爬虫爬到一半就被服务器终止了，有没有办法防止这个问题？

假面的假面 · 发表于 2020-11-15 12:58:31

深山小兽发表于 2020-11-15 01:34
兄弟我用你的爬虫爬到一半就被服务器终止了，有没有办法防止这个问题？

根据您的建议已经修正了一下代码。另外之前存储每一章节的文档时对于目录的管理没有考虑到，现在也进行了一下修正。您可以复制现在的代码重新试一下。如果有问题可以在进行讨论探讨。

账号		自动登录	找回密码
密码			立即注册

假面的假面假面的假面当前离线 UID 744675 日志相册贡献荣誉积分 193 狗仔卡	发表于 2020-9-29 23:56:51 \| 显示全部楼层 \|阅读模式去年国内的网络小说《庆余年》改变的电视剧很火很火，曾经去本地的图书馆去借书怎奈所有的书都被外借了出去，闲来无事找到了网络小说全篇的。手机看总会误触广告，很是烦人。所以研究了一些时日写了这么个程序。用最简单的代码爬取了全套小说。爬取网站为笔趣阁，默认情况下该网站的所有小说应该是都是可以正常爬取的，更换小说的目录地址即可。。。小白初学如有大神还请多多指点其中优化之道。购买主题已有 2 人购买本主题需向作者支付 5 鱼币才能浏览
	想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
	回复使用道具举报置顶卡千斤顶显身卡

[作品展示] 网络小说爬虫之---庆余年