小说爬虫 xpath方式解析 没有中断回调

capslock133

采集小说到本地生成txt文件，采集网站https://www.xbiquge.la，菜鸟写作，欢迎大家交流学习 QQ:343266695

1. import requests
   
2. import os
   
3. from lxml import etree
   
4. import random
   
5. import time
   
6. import pymysql
   
7. 
   
8. def get_html(url):
   
9.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
   
10.     res = requests.get(url,headers=headers,timeout=600)
    
11.     res.encoding = res.apparent_encoding
    
12.     #res.encoding = 'UTF-8'
    
13.     #res.encoding='gb2312'
    
14.     htmlmu = res.text
    
15.     #print(html)
    
16.     return htmlmu
    
17. #获取页面
    
18. def get_book(url):
    
19.     html = get_html(url)
    
20.     selector = etree.HTML(html)
    
21.     nov_name = selector.xpath('//*[@id="info"]/h1/text()')       #标题
    
22.     all_urls = selector.xpath('//*[@id="list"]/dl/dd/a/@href')   #连接
    
23.     nov_name = ' '.join(nov_name)  # 去除前后[]字符
    
24.     print(nov_name)
    
25.     print("匹配到小说共%d章节" % len(all_urls))
    
26.     k=0
    
27.     for part_url in all_urls:
    
28.         k += 1
    
29.         part_url = f'{www}{part_url}'
    
30.         booktxt=get_html(part_url)
    
31.         # print(booktxt.status_code)
    
32.         selector = etree.HTML(booktxt)
    
33.         title = selector.xpath('//*[@id="wrapper"]//div//h1/text()')  # 标题
    
34.         content = selector.xpath('//*[@id="content"]/text()')  # 作者
    
35.         content = str(content)
    
36.         title = ' '.join(title)  # 去除前后[]字符
    
37.         title = title.replace("正文卷", "")
    
38.         content = content.replace("\\xa0\\xa0\\xa0\\xa0", "  ")
    
39.         content = content.replace("\\r', '\\r', '", "\n\n")
    
40.         content = content.replace("['", "\n\n")
    
41.         content = content.replace("………………']", "")
    
42.         content = content.replace("']", "\n\n")
    
43.         content = content.replace("<br/>\\ufeff", "\n\n")
    
44.         content = content.replace("新书就是幼苗，需要大家的呵护才能成长，求推荐票，求收藏，求大家的支持！）", "")
    
45.         content = content.replace("<br/>【接近6000字的大章，因为里面有不少设定，所以就不断章了，不想看设定可以跳过去，反正也不重要（认真脸）】<br/>&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;……<br/>",
    
46.                                   "<br/>")
    
47.         new = []
    
48.         new.append(title)
    
49.         new.append(content)
    
50.         down = "./txt/"
    
51.         if os.path.exists(down) != True:
    
52.             os.makedirs(down)
    
53. 
    
54.         print("正在写入第%d章" % k)
    
55.         with open("./txt/" + nov_name + ".txt", 'a+', encoding='utf-8')as p:
    
56.             p.writelines(new)
    
57.         m = random.randint(3,6)
    
58.         time.sleep(m)
    
59. 
    
60. 
    
61. if __name__ == '__main__':   #主函数
    
62.     url="https://www.xbiquge.la/28/28564/"
    
63.     www="https://www.xbiquge.la"
    
64.     #url="http://www.shuquge.com/txt/139403/index.html"
    
65.     # url=input("请输入采集目录地址：")
    
66.     get_html(url)
    
67.     get_book(url)

复制代码

capslock133

能用的