以《云轩阁》小说网为例，爬取小说成功！

龙绪广

跟着小甲鱼学习爬虫之后，终于成功的写出能够下载小说的爬虫，跟大家分享一下喜悦的心情。

1. from requests_html import HTMLSession
   
2. import time
   
3. 
   
4. session = HTMLSession()
   
5. 
   
6. wz = input("请输入需要下载的小说网址：")#云轩阁小说网，需要下载小说章节列表网址
   
7. r = session.get(wz)
   
8. images = r.html.find('#readerlist',first=True)#章节目录
   
9. mc = r.html.find('#smallcons > h1',first=True)#小说名称
   
10. urls = list(images.absolute_links)#获得全部章节链接，并转换成列表
    
11. urls.sort()#升序排列网址
    
12. s = len(urls)#计算章节数量
    
13. 
    
14. file = open(mc.text+'.txt','a',encoding='utf-8') #新建一个以小说名称命名的TXT
    
15. 
    
16. q = 1
    
17. 
    
18. for url in urls:
    
19.     lj = session.get(url)
    
20.     nr = lj.html.find('#content',first=True)#获得章节内容
    
21.     zj = lj.html.find('#center > div.title > h1',first=True)#获得章节名称
    
22.     print("正在下载{}，还剩下{}章".format(zj.text[4:],s-q))
    
23.     file.write(zj.text[4:]+'\n\n'+nr.text+'\n\n')#写入TXT
    
24.     q += 1
    
25.     time.sleep(1)
    
26. 
    
27. file.close()

复制代码