写了个笔趣阁爬书的小程序

FishC

shadowmage 发表于 2025-09-08 20:03
@FishC
我想要提高代码效率，想重新把上面代码重构， ...

当然可以！将代码按照功能分层是一个很好的做法，这样不仅提高了代码的可读性和可维护性，还能方便后续扩展和优化。下面我将为你提供一个基于 crawler / parser / store / scheduler 四层架构的简单示例，使用 Python 实现。

1. 
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import sqlite3
   
5. import os
   
6. from urllib.parse import urljoin, urlparse
   
7. import time
   
8. from queue import Queue
   
9. from threading import Thread
   
10. 
    
11. # ==================== Crawler 层 ====================
    
12. class Crawler:
    
13.     def fetch(self, url):
    
14.         try:
    
15.             response = requests.get(url, timeout=10)
    
16.             response.raise_for_status()
    
17.             return response.text
    
18.         except requests.RequestException as e:
    
19.             print(f"抓取失败: {url}, 错误: {e}")
    
20.             return None
    
21. 
    
22. # ==================== Parser 层 ====================
    
23. class Parser:
    
24.     def parse(self, html, base_url):
    
25.         if not html:
    
26.             return None
    
27.         soup = BeautifulSoup(html, 'html.parser')
    
28.         # 示例：提取标题和所有链接
    
29.         title = soup.title.string if soup.title else "无标题"
    
30.         links = [urljoin(base_url, a.get('href')) for a in soup.find_all('a', href=True)]
    
31.         return {
    
32.             'title': title,
    
33.             'links': links
    
34.         }
    
35. 
    
36. # ==================== Store 层 ====================
    
37. class Store:
    
38.     def __init__(self, db_path='data.db', storage_dir='pages'):
    
39.         self.db_path = db_path
    
40.         self.storage_dir = storage_dir
    
41.         os.makedirs(storage_dir, exist_ok=True)
    
42.         self.init_db()
    
43. 
    
44.     def init_db(self):
    
45.         conn = sqlite3.connect(self.db_path)
    
46.         cursor = conn.cursor()
    
47.         cursor.execute('''
    
48.             CREATE TABLE IF NOT EXISTS pages (
    
49.                 url TEXT PRIMARY KEY,
    
50.                 title TEXT,
    
51.                 file_path TEXT,
    
52.                 created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
    
53.             )
    
54.         ''')
    
55.         conn.commit()
    
56.         conn.close()
    
57. 
    
58.     def save_page(self, url, title, content):
    
59.         # 生成文件名
    
60.         parsed_url = urlparse(url)
    
61.         file_name = f"{parsed_url.netloc}{parsed_url.path}".replace('/', '_')
    
62.         if not file_name:
    
63.             file_name = 'index'
    
64.         file_path = os.path.join(self.storage_dir, file_name + '.html')
    
65.         
    
66.         # 保存HTML内容到文件
    
67.         with open(file_path, 'w', encoding='utf-8') as f:
    
68.             f.write(content)
    
69.         
    
70.         # 存储元数据到SQLite
    
71.         conn = sqlite3.connect(self.db_path)
    
72.         cursor = conn.cursor()
    
73.         cursor.execute('''
    
74.             INSERT OR REPLACE INTO pages (url, title, file_path)
    
75.             VALUES (?, ?, ?)
    
76.         ''', (url, title, file_path))
    
77.         conn.commit()
    
78.         conn.close()
    
79. 
    
80. # ==================== Scheduler 层 ====================
    
81. class Scheduler:
    
82.     def __init__(self, max_workers=3):
    
83.         self.queue = Queue()
    
84.         self.visited = set()
    
85.         self.crawler = Crawler()
    
86.         self.parser = Parser()
    
87.         self.store = Store()
    
88.         self.max_workers = max_workers
    
89. 
    
90.     def add_url(self, url):
    
91.         if url not in self.visited:
    
92.             self.queue.put(url)
    
93.             self.visited.add(url)
    
94. 
    
95.     def worker(self):
    
96.         while True:
    
97.             url = self.queue.get()
    
98.             if url is None:
    
99.                 break
    
100.             
     
101.             # 1. 抓取
     
102.             html = self.crawler.fetch(url)
     
103.             if not html:
     
104.                 self.queue.task_done()
     
105.                 continue
     
106.             
     
107.             # 2. 解析
     
108.             parsed_data = self.parser.parse(html, url)
     
109.             if parsed_data:
     
110.                 # 3. 存储
     
111.                 self.store.save_page(url, parsed_data['title'], html)
     
112.                
     
113.                 # 4. 将新链接加入队列
     
114.                 for link in parsed_data['links']:
     
115.                     self.add_url(link)
     
116.             
     
117.             self.queue.task_done()
     
118.             time.sleep(1)  # 礼貌性延迟
     
119. 
     
120.     def start(self, start_url):
     
121.         self.add_url(start_url)
     
122.         threads = []
     
123.         for _ in range(self.max_workers):
     
124.             t = Thread(target=self.worker)
     
125.             t.start()
     
126.             threads.append(t)
     
127.         
     
128.         self.queue.join()
     
129.         
     
130.         # 停止工作线程
     
131.         for _ in range(self.max_workers):
     
132.             self.queue.put(None)
     
133.         for t in threads:
     
134.             t.join()
     
135. 
     
136. # ==================== 使用示例 ====================
     
137. if __name__ == "__main__":
     
138.     scheduler = Scheduler()
     
139.     scheduler.start('[url=https://example.com')]https://example.com')[/url]
     

复制代码

说明：

• Crawler 层：只负责通过 HTTP 获取原始 HTML 内容。
• Parser 层：负责解析 HTML，提取所需的结构化数据（如标题、链接）。
• Store 层：负责将数据存储到文件系统，并使用 SQLite 维护索引。
• Scheduler 层：负责任务调度、URL 去重、多线程抓取以及协调其他组件。
  

你可以根据实际需求进一步扩展每层的功能，例如增加代理支持、异常重试机制、更复杂的数据解析等。希望这个示例能帮助你更好地组织代码！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。