练手作品鬼吹灯系列小说批量下载

eachill

之前看到一个鱼油写了个下载单本小说的脚本（自制简单的爬虫，爬取一本小说https://fishc.com.cn/thread-152421-1-1.html(出处: 鱼C论坛)），给我带来不少收获。消化了一下，写了一个批量下载一整套。
因为调试的时候请求次数太多太快被关了一段时间小黑屋，所以我在每一章下载完后都等一秒钟再下载下一章，下载完一本等10秒再下载下一本。
主要用到requests和beautifulsoup两个库去爬数据，time库来计时和等待

游客，如果您要查看本帖隐藏内容请回复

贴一下运行的结果：






p.s.有兴趣的话可以把代码改改，变成可以input搜索其他书籍哦~

p.s.s.图2可以看到，引子之后下载第九章而不是第一章，因为该书籍目录页是先放推荐章节再放全文章节，而两个章节是在同属一个父系的标签内，我的水平还不能绕过上面的带有相同标签的非我想要的内容，这个如果有大佬可以给我指教一下就更好了~~

分享不易，来白嫖我吧~

baiyang0702

感谢楼主热心分享，喜欢鬼吹灯这部小说！

别念我名字

谢谢大佬

还有苹果

感谢楼主，复制代码运行提示Traceback (most recent call last):
  File "E:\学习py资料\爬虫1爬图.py", line 4, in <module>
    from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'
>>> 是怎么回事啊

eachill

还有苹果 发表于 2020-1-6 10:43
感谢楼主，复制代码运行提示Traceback (most recent call last):
  File "E:\学习py资料\爬虫1爬图.py", l ...

你没有装bs4这个库

流羽星

看看哈

m496447738

学习

Yvonne!

还有苹果 发表于 2020-1-6 10:43
感谢楼主，复制代码运行提示Traceback (most recent call last):
  File "E:\学习py资料\爬虫1爬图.py", l ...

安装个bs4模块：

pippo920

学一下

freaky

看看吧 大佬

还有苹果

Yvonne! 发表于 2020-1-6 22:12
安装个bs4模块：

[img][/img]

还有苹果

Yvonne! 发表于 2020-1-6 22:12
安装个bs4模块：

我这个是不是权限有问题

eachill

还有苹果 发表于 2020-1-7 16:56
我这个是不是权限有问题

需要先设置pip和python为环境变量，才能直接在命令提示符里面输入这个命令，否则得去到你pip包所在的文件夹使用这个命令。我在论坛找到下面的帖子，你可以参考一下

https://fishc.com.cn/forum.php?mod=viewthread&tid=134569&highlight=%BB%B7%BE%B3%B1%E4%C1%BF%2Bpython

jy02618370

新人进来膜拜下

还有苹果

eachill 发表于 2020-1-7 17:03
需要先设置pip和python为环境变量，才能直接在命令提示符里面输入这个命令，否则得去到你pip包所在的文件 ...

我看那个文章，觉得说的还不够明确，自己百度了好久总于解决了！1是重新设置下系统的环境变量（C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts）；按照上面步骤重新设置环境变量发现还是不行，最后发现是需要（打开或关闭Windows功能”，勾上“telnet客户端”，确定就可以正常使用telnet命令了。）最后总于可以用了

刘辰

Traceback (most recent call last):
  File "E:/学习/python/git_workspace/learning.py", line 84, in <module>
    main()
  File "E:/学习/python/git_workspace/learning.py", line 79, in main
    get_text(get_book_list(headers), headers)
  File "E:/学习/python/git_workspace/learning.py", line 18, in get_book_list
    soup = BeautifulSoup(response.content, 'lxml')
  File "C:\Users\Administrator\AppData\Roaming\Python\Python37\site-packages\bs4\__init__.py", line 228, in __init__
    % ",".join(features))
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?

qq532401019

你真棒

还有苹果

Yvonne! 发表于 2020-1-6 22:12
安装个bs4模块：

今天在pychorm试了下楼主代码，提示Traceback (most recent call last):
  File "E:/学习py资料/爬小说鬼吹灯.py", line 4, in <module>
    from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

还有苹果

还有苹果 发表于 2020-1-8 10:53
今天在pychorm试了下楼主代码，提示Traceback (most recent call last):
  File "E:/学习py资料/爬小说 ...

嗯，刚刚百度了，安装了bs4模块了

大豆豆

吃u下