去年国内的网络小说《庆余年》改变的电视剧很火很火,曾经去本地的图书馆去借书怎奈所有的书都被外借了出去,闲来无事找到了网络小说全篇的。手机看总会误触广告,很是烦人。所以研究了一些时日写了这么个程序。用最简单的代码爬取了全套小说。爬取网站为笔趣阁,默认情况下该网站的所有小说应该是都是可以正常爬取的,更换小说的目录地址即可。。。小白初学如有大神还请多多指点其中优化之道。
已有 2 人购买 本主题需向作者支付 5 鱼币 才能浏览 购买主题
你是用2.0版本???
自为其主 发表于 2020-9-30 15:44你是用2.0版本???
什么2.0版本? 我是新手,请问一下 为什么你们发的代码我复制回去却运行不了呢
675583320 发表于 2020-10-2 12:48
我是新手,请问一下 为什么你们发的代码我复制回去却运行不了呢
有什么报错提示么?注意代码开头的import导入的包。默认状态下python是没有urllib和bs4这两个包的。需要用配置环境变量之后用pip install urllib和pip install bs4安装这两个第三方的包之后才可以的。 {:5_109:}
兄弟我用你的爬虫爬到一半就被服务器终止了,有没有办法防止这个问题? 深山小兽 发表于 2020-11-15 01:34
兄弟我用你的爬虫爬到一半就被服务器终止了,有没有办法防止这个问题?
根据您的建议已经修正了一下代码。另外之前存储每一章节的文档时对于目录的管理没有考虑到,现在也进行了一下修正。您可以复制现在的代码重新试一下。如果有问题可以在进行讨论探讨。
页:
[1]