假面的假面 发表于 2020-9-29 23:56:51

去年国内的网络小说《庆余年》改变的电视剧很火很火,曾经去本地的图书馆去借书怎奈所有的书都被外借了出去,闲来无事找到了网络小说全篇的。手机看总会误触广告,很是烦人。所以研究了一些时日写了这么个程序。用最简单的代码爬取了全套小说。爬取网站为笔趣阁,默认情况下该网站的所有小说应该是都是可以正常爬取的,更换小说的目录地址即可。。。小白初学如有大神还请多多指点其中优化之道。

已有 2 人购买  本主题需向作者支付 5 鱼币 才能浏览 购买主题

自为其主 发表于 2020-9-30 15:44:09

你是用2.0版本???

假面的假面 发表于 2020-10-1 20:52:02

自为其主 发表于 2020-9-30 15:44
你是用2.0版本???

什么2.0版本?

675583320 发表于 2020-10-2 12:48:33

我是新手,请问一下 为什么你们发的代码我复制回去却运行不了呢

假面的假面 发表于 2020-10-2 14:12:18

675583320 发表于 2020-10-2 12:48
我是新手,请问一下 为什么你们发的代码我复制回去却运行不了呢

有什么报错提示么?注意代码开头的import导入的包。默认状态下python是没有urllib和bs4这两个包的。需要用配置环境变量之后用pip install urllib和pip install bs4安装这两个第三方的包之后才可以的。

假面的假面 发表于 2020-11-14 22:37:19

{:5_109:}

深山小兽 发表于 2020-11-15 01:34:14



兄弟我用你的爬虫爬到一半就被服务器终止了,有没有办法防止这个问题?

假面的假面 发表于 2020-11-15 12:58:31

深山小兽 发表于 2020-11-15 01:34
兄弟我用你的爬虫爬到一半就被服务器终止了,有没有办法防止这个问题?

根据您的建议已经修正了一下代码。另外之前存储每一章节的文档时对于目录的管理没有考虑到,现在也进行了一下修正。您可以复制现在的代码重新试一下。如果有问题可以在进行讨论探讨。
页: [1]
查看完整版本: 网络小说爬虫之---庆余年