python 小说爬虫

Veblent_Azz

新人第一个python爬虫 求大佬改进改进

1. # -*- coding:UTF-8 -*-
   
2. 
   
3. import requests
   
4. import re
   
5. import unicodedata
   
6. 
   
7. def get_novel_list_url():
   
8. 
   
9.         global response
   
10.         # 标记 response 为全局变量
    
11.         global headers
    
12.         # 标记 headers 为全局变量
    
13.         headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0'}
    
14.         # 伪装响应头
    
15.         response = requests.get(novel_url,headers=headers)
    
16.         # 获取小说目录网页数据
    
17.         response.encoding='UTF-8'
    
18.         # 设置编码为 UTF8
    
19.         global response_all
    
20.         # 标记 response_all 为全局变量
    
21.         response_all = response.text
    
22.         # 将获取到的小说目录源码赋值给 response_all
    
23. 
    
24. def get_novel_title():
    
25. 
    
26.         global novel_title_
    
27.         # 标记 novel_title 为全局变量
    
28.         novel_title_ = re.findall(r'.html\' >.*?</a></dd>',response_all)
    
29.         # 正则表达式过滤无关数据 获得标题
    
30. 
    
31. def get_novel_text():
    
32. 
    
33.         global novel_list_all
    
34.         # 标记 novel_list_all 为全局变量
    
35.         novel_list_all = re.findall(r'<dd><a href=.*?\' >',response_all)
    
36.         # 正则表达式过滤无关数据 获得以下数据
    
37.         # <dd><a href='/15/15003/6795760.html' >第一章 没白来</a></dd>
    
38.         l = len(novel_list_all)
    
39.         i = 1
    
40. 
    
41. 
    
42.         for novel_list in novel_list_all:
    
43. 
    
44.                 if i <= l:
    
45.                 # 此处if用处 :完成下载破坏循环
    
46.                         novel_list = novel_list.replace('<dd><a href=\'','')
    
47.                         novel_list = novel_list.replace('\' >','')
    
48.                         # 过滤无用数据
    
49.                         novel_text_url = 'http://www.xbiquge.la' + novel_list
    
50.                         # 构建每章小说的URL
    
51.                         novel_text_code_ = requests.get(novel_text_url)
    
52.                         # 获取小说每一章网页数据
    
53.                         novel_text_code_.encoding='UTF-8'
    
54.                         # 设置编码为 UTF8
    
55.                         novel_text = novel_text_code_.text
    
56.                         # 获取小说内容
    
57.                         novel_text_ = re.findall(r'<div id="content">.*?<a href=',novel_text)
    
58.                 else:
    
59.                         break
    
60.                
    
61. 
    
62. 
    
63.                 for novel in novel_text_:
    
64.                         if i <= l:
    
65.                         # 此处if用处 :完成下载破坏循环
    
66.                                 novel = novel.replace('    ',' ')
    
67.                                 novel = novel.replace('<br />',' ')
    
68.                                 novel = novel.replace('<p><a href=',' ')
    
69.                                 # 过滤无用数据
    
70. 
    
71. 
    
72.                                
    
73.                         else:
    
74.                                 break
    
75.                         for novel_title in novel_title_:
    
76.                                         if i <= l:
    
77.                                         # 此处if用处 :完成下载破坏循环
    
78. 
    
79.                                                 novel_title = novel_title.replace('</a></dd>','')
    
80.                                                 novel_title = novel_title.replace('.html\' >','')
    
81.                                                 novel_title = novel_title.replace('*','')
    
82.                                                 novel_title = novel_title.replace('?','')
    
83.                                                 novel_title = novel_title.replace('？','')
    
84.                                                 # 过滤无用数据
    
85. 
    
86.                                                 file = open(novel_title + '_.txt','a+')
    
87.                                                 file.write(novel_title)
    
88.                                                 file.write('\n')
    
89.                                                 file.write(novel)
    
90.                                                 file.write('\n')
    
91.                                                 print(novel_title+'已下载至当前目录')
    
92.                                                 # 以上为保存文件至当前目录
    
93. 
    
94.                                                 i = i + 1
    
95.                                         else:
    
96.                                                 print ("已全部下载完成")
    
97.                                                 break
    
98. 
    
99. 
    
100. 
     
101. def main():
     
102.         get_novel_list_url()
     
103.         get_novel_title()
     
104.         get_novel_text()
     
105. 
     
106. 
     
107. 
     
108. 
     
109. 
     
110. 
     
111. 
     
112. if __name__=="__main__":
     
113.         print ('------------------------------------------------')
     
114.         b = input("输入(Y/y)进入下载小说\n")
     
115. 
     
116.         if b == 'Y' or b == 'y':
     
117.                 print ('------------------------------------------------')
     
118.                 novel_url = input('请输入您要在新笔趣网下载小说的URL(http://www.xbiquge.la/):\n例如http://www.xbiquge.la/10/10489/"\n')
     
119.                 print ('------------------------------------------------')
     
120.                 print("---------------------正在下载---------------------")
     
121.                 main()
     
122.         else:
     
123.                 print("已退出程序~")

复制代码

乘号

念念楚啊

文件里面有&nbsp;&nbsp;&nbsp;&nbsp;能去掉吗

Veblent_Azz

念念楚啊 发表于 2020-7-18 16:27
文件里面有&nbsp;&nbsp;&nbsp;&nbsp;能去掉吗

emmm可以自行用replace去除