再写一个爬取小说的虫虫

chenxz186

好久没有再写爬小说了，今天放了一个上来，不多说了，直接上图上代码。

1. import requests
   
2. import pyquery
   
3. import os
   
4. import easygui as g
   
5. import time
   
6. import datetime
   
7. 
   
8. 
   
9. def catch_exception(func):
   
10.     """抓取错误"""
    
11. 
    
12.     def error_func(*args, **kwargs):
    
13.         try:
    
14.             func(*args, **kwargs)
    
15.         except TimeoutError:
    
16.             msg = '由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败，是否继续'
    
17.             title = '出错显示'
    
18.             choices = ['continue', 'exit']
    
19.             choice = g.buttonbox(msg, title, choices)
    
20.             if choice is None or choice == choices[1]:
    
21.                 exit()
    
22.             if choice == choices[0]:
    
23.                 Fiction.main()
    
24.         except AttributeError:
    
25.             msg = 'NoneType object has no attribute find_all'
    
26.             title = '出错显示'
    
27.             choices = ['continue', 'exit']
    
28.             choice = g.buttonbox(msg, title, choices)
    
29.             if choice is None or choice == choices[1]:
    
30.                 exit()
    
31.             if choice == choices[0]:
    
32.                 Fiction.main()
    
33. 
    
34.     return error_func
    
35. 
    
36. 
    
37. def statistics_time(func):
    
38.     """统计程序运行时间"""
    
39. 
    
40.     def test_time(*args, **kwargs):
    
41.         start_time = datetime.datetime.now()
    
42.         func(*args, **kwargs)
    
43.         end_time = datetime.datetime.now()
    
44.         result = end_time - start_time
    
45.         print(result)
    
46. 
    
47.     return test_time
    
48. 
    
49. 
    
50. class ParentFrame(object):
    
51.     """建立此父类框架，将通用的方法写进去，方便下次写别的爬虫，不用重写，直接继承。"""
    
52. 
    
53.     def __init__(self):
    
54.         self.headers = {
    
55.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
    
56.                           '78.0.3904.108 Safari/537.36'
    
57.         }
    
58. 
    
59.     def open_url(self, url):
    
60.         """获取网页响应"""
    
61.         res = requests.get(url, headers=self.headers)
    
62.         return res
    
63. 
    
64.     @staticmethod
    
65.     def build_doc(res):
    
66.         """将网页响应进行PyQuery"""
    
67.         html = res.text
    
68.         doc = pyquery.PyQuery(html)
    
69.         return doc
    
70. 
    
71.     @staticmethod
    
72.     def save_path():
    
73.         """选择你要存放的路径，，小说会下载在此文件夹内。"""
    
74.         msg = '小说会保存在此路径下'
    
75.         title = '存放路径选择'
    
76.         dir_path = g.diropenbox(msg, title)
    
77.         if dir_path is None:
    
78.             exit()
    
79.         os.chdir(dir_path)
    
80.         return os.getcwd()
    
81. 
    
82. 
    
83. class Fiction(ParentFrame):
    
84.     """小说下载"""
    
85. 
    
86.     def __init__(self, search_url):
    
87.         super().__init__()
    
88.         self.dir_path = self.save_path()
    
89.         self.home_url = 'https://www.23txt.com'
    
90.         self.search_url = search_url
    
91. 
    
92.     def find_fiction(self, name, url):
    
93.         res = self.open_url(url)
    
94.         res.encoding = 'utf-8'
    
95.         doc = self.build_doc(res)
    
96.         need_tags = doc('h3').items()
    
97.         fiction_names_urls = {}
    
98.         choices = []
    
99.         for each in need_tags:
    
100.             fiction_name = each.find('a').attr('title')
     
101.             fiction_url = each.find('a').attr('href')
     
102.             fiction_names_urls[fiction_name] = fiction_url
     
103.             choices.append(fiction_name)
     
104.         print(fiction_names_urls)
     
105.         msg = '选择你要下载的小说'
     
106.         title = '选择框'
     
107.         choice = g.choicebox(msg, title, choices)
     
108.         if choice == 'Add more choices':
     
109.             print('没有这部小说，要重新选择')
     
110.             self.run()
     
111.         if choice is None:
     
112.             exit()
     
113.         return choice, fiction_names_urls[choice]
     
114. 
     
115.     def download_tool(self, filename, url):
     
116.         res = self.open_url(url)
     
117.         res.encoding = 'GBK'
     
118.         doc = self.build_doc(res)
     
119.         title_tag = doc('h1').text()
     
120.         content_tags = doc('#content').text()
     
121.         chapter_content = title_tag + '\n\n' + content_tags + '\n\n\n\n'
     
122.         with open(filename, 'a', encoding='utf-8') as f:
     
123.             f.write(chapter_content)
     
124. 
     
125.     @statistics_time
     
126.     def fiction_chapters_download(self, filename, url):
     
127.         """这里有BUG，不过已经解决了。"""
     
128.         res = self.open_url(url)
     
129.         res.encoding = 'GBK'
     
130.         doc = self.build_doc(res)
     
131.         need_tags = doc('dd').items()
     
132.         if os.path.exists(filename):
     
133.             with open(filename, 'r', encoding='utf-8') as f:
     
134.                 fiction_content = f.read()
     
135.                 not_download_chapters = []
     
136.                 for each in need_tags:
     
137.                     chapter_title = each.text()
     
138.                     if chapter_title not in fiction_content:
     
139.                         not_download_chapters.append((chapter_title, self.home_url + each.find('a').attr('href')))
     
140.                 length = len(not_download_chapters)
     
141.                 if length != 0:
     
142.                     for chapter_title, chapter_url in not_download_chapters:
     
143.                         print(chapter_title)
     
144.                         self.download_tool(filename, chapter_url)
     
145.                         time.sleep(0.5)
     
146.                 else:
     
147.                     if g.msgbox('没有可更新的章节') is None:
     
148.                         exit()
     
149.         else:
     
150.             for each in need_tags:
     
151.                 chapter_url = self.home_url + each.find('a').attr('href')
     
152.                 chapter_title = each.text()
     
153.                 print(chapter_title)
     
154.                 self.download_tool(filename, chapter_url)
     
155.                 time.sleep(0.5)
     
156. 
     
157.     def run(self):
     
158.         while True:
     
159.             msg = '请输入你要查找的小说名，例如《我老婆是鬼王》,即输入 我老婆是鬼王 '
     
160.             title = '小说搜索'
     
161.             name = g.enterbox(msg, title)
     
162.             if name is None:
     
163.                 exit()
     
164.             if name == '':
     
165.                 continue
     
166.             name = name.replace(' ', '')
     
167.             print(name)
     
168.             fiction_search_url = self.search_url + name
     
169.             fiction_name, fiction_url = self.find_fiction(name, fiction_search_url)
     
170.             print(fiction_name, fiction_url)
     
171.             filename = self.dir_path + '/' + fiction_name + '.txt'
     
172.             self.fiction_chapters_download(filename, fiction_url)
     
173. 
     
174.     @classmethod
     
175.     @catch_exception
     
176.     def main(cls):
     
177.         search_url = 'https://www.23txt.com/search.php?keyword='
     
178.         fiction = cls(search_url)
     
179.         fiction.run()
     
180. 
     
181. 
     
182. if __name__ == '__main__':
     
183.     Fiction.main()
     

复制代码

永恒的蓝色梦想

20行

1. if choice is None and choice == choices[1]:

复制代码

这个条件不可能为真。

chenxz186

永恒的蓝色梦想 发表于 2020-6-19 13:52
20行这个条件不可能为真。

谢谢指正，我当时定得急了，应用or