[已解决]编了个爬新闻的爬虫，出问题了

shadowmage

@FishC  如题。代码实现的功能是，每天爬取几个平台的新闻，输出到以日期时间为名的PDF文件里。
代码如下：

1. import requests
   
2. import sqlite3
   
3. import time
   
4. import random
   
5. import jieba
   
6. import os
   
7. from bs4 import BeautifulSoup
   
8. from datetime import datetime
   
9. from wordcloud import WordCloud
   
10. from collections import Counter
    
11. import matplotlib.pyplot as plt
    
12. from weasyprint import HTML
    
13. from simhash import Simhash
    
14. 
    
15. # ==================== 配置区域 ====================
    
16. DATABASE = 'news.db'
    
17. FONT_PATH = 'msyh.ttc'
    
18. STOPWORDS_FILE = 'stopwords.txt'
    
19. REQUEST_INTERVAL = (1, 3)
    
20. REPORT_DIR = r'H:\daynews'
    
21. 
    
22. TARGETS = {
    
23.     '联合早报-中国': {
    
24.         'url': 'https://www.zaobao.com/realtime/china',
    
25.         'selector': '.article-list .title',
    
26.         'method': 'get'
    
27.     },
    
28.     '澎湃新闻-热点': {
    
29.         'url': 'https://www.thepaper.cn/',
    
30.         'selector': '.news_li h2 a',
    
31.         'method': 'get'
    
32.     },
    
33.     '微博热搜': {
    
34.         'url': 'https://s.weibo.com/top/summary',
    
35.         'selector': 'tr td.td-02 a',  # 使用开发者工具检查元素更新选择器
    
36.         'method': 'get',
    
37.         'headers': {
    
38.             'Cookie': 'SUB=你的实际cookie'  # 长期采集建议获取cookie
    
39.         }
    
40.     },
    
41.     '百度热榜': {
    
42.         'url': 'https://top.baidu.com/board?tab=realtime',
    
43.         'selector': '.container-bg_lQ801 .content_1YWBm',  # 更新选择器路径
    
44.         'method': 'get',
    
45.         'headers': {
    
46.             'Referer': 'https://top.baidu.com/',
    
47.             'Cookie': 'BAIDUID=你的实际Cookie值;'  # 需通过浏览器获取
    
48.         }
    
49.     },
    
50.     '头条热榜': {
    
51.         'url': 'https://www.toutiao.com/hot-event/hot-board/',
    
52.         'method': 'api',
    
53.         'params': {'origin': 'toutiao_pc'},
    
54.         'headers': {
    
55.             'Referer': 'https://www.toutiao.com/'
    
56.     }
    
57. }
    
58. 
    
59. # ==================== 核心功能 ====================
    
60. class NewsCrawler:
    
61.     def __init__(self):
    
62.         self.headers = {
    
63.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36',
    
64.             'Accept-Language': 'zh-CN,zh;q=0.9',
    
65.             'Accept-Encoding': 'gzip, deflate, br'
    
66.         }
    
67.         
    
68.     def safe_request(self, url, method='get', **kwargs):
    
69.         try:
    
70.             time.sleep(random.uniform(*REQUEST_INTERVAL))
    
71.             response = requests.request(
    
72.                 method,
    
73.                 url,
    
74.                 headers=self.headers,
    
75.                 timeout=10,
    
76.                 **kwargs
    
77.             )
    
78.             response.raise_for_status()
    
79.             response.encoding = response.apparent_encoding
    
80.             return response
    
81.         except Exception as e:
    
82.             print(f'请求失败: {url} | 错误: {str(e)}')
    
83.             return None
    
84. 
    
85.     def parse_web(self, target):
    
86.         response = self.safe_request(target['url'], target['method'],
    
87.                                     headers={**self.headers, **target.get('headers', {})})
    
88.         if not response:
    
89.             return []
    
90.         
    
91.         soup = BeautifulSoup(response.text, 'lxml')
    
92.    
    
93.         # 百度热榜特殊处理
    
94.         if 'baidu' in target['url']:
    
95.             main_titles = [a.text.strip() for a in soup.select(target['selector'])]
    
96.         
    
97.             sub_titles = [div.text.strip() for div in soup.select('.hot-desc_1m_jR')]
    
98.         
    
99.             return list(set(main_titles + sub_titles))[:15]
    
100.         else:
     
101.             return [a.text.strip() for a in soup.select(target['selector'])][:10]
     
102.    
     
103. 
     
104.     def parse_api(self, target):
     
105.         try:
     
106.             response = self.safe_request(
     
107.                 target['url'],
     
108.                 target.get('method', 'get'),
     
109.                 params=target.get('params'),
     
110.                 headers=target.get('headers', {})
     
111.             )
     
112.             if not response:
     
113.                 return []
     
114. 
     
115.             data = response.json()
     
116. 
     
117.             # 动态字段映射表
     
118.             field_mapping = {
     
119.                 'zhihu': ('data', 'target', 'title'),
     
120.                 'toutiao': ('data', None, 'Title'),
     
121.                 'weibo': ('data', 'hotgov', 'word')
     
122.             }
     
123. 
     
124.             platform = next((k for k in field_mapping if k in target['url']), 'default')
     
125. 
     
126.             root_key, mid_key, title_key = field_mapping.get(
     
127.                 platform,
     
128.                 ('data', None, 'title')
     
129.             )
     
130. 
     
131.             items = data.get(root_key, [])
     
132.             results = []
     
133.             for item in items[:10]:
     
134.                 try:
     
135.                     if mid_key:
     
136.                         title = item[mid_key][title_key]
     
137.                     else:
     
138.                         title = item[title_key]
     
139.                     results.append(title.strip())
     
140.                 except (KeyError, TypeError):
     
141.                     continue
     
142. 
     
143.             return results
     
144. 
     
145.         except Exception as e:
     
146.             print(f"API解析失败：{target['url']} | 错误：{str(e)}")
     
147.             return []
     
148. 
     
149. 
     
150.     def crawl_all(self):
     
151.         all_titles = {}
     
152.         seen_titles = set()
     
153. 
     
154.         for name, target in TARGETS.items():
     
155.             print(f'正在爬取: {name}')
     
156.             
     
157.             # 获取原始标题列表
     
158.             if target['method'] == 'api':
     
159.                 raw_titles = self.parse_api(target)
     
160.             else:
     
161.                 raw_titles = self.parse_web(target)
     
162.             
     
163.             unique_titles = [
     
164.                 title for title in raw_titles
     
165.                 if title not in seen_titles
     
166.             ]
     
167.             
     
168.             seen_titles.update(unique_titles)
     
169.             if unique_titles:
     
170.                 all_titles[name] = unique_titles
     
171.                 self.save_to_db(name, unique_titles)
     
172.                
     
173.         return all_titles
     
174. 
     
175.     def save_to_db(self, source, titles):
     
176.         conn = sqlite3.connect(DATABASE)
     
177.         c = conn.cursor()
     
178.         
     
179.         c.execute('''CREATE TABLE IF NOT EXISTS title_fingerprints
     
180.                     (id INTEGER PRIMARY KEY,
     
181.                      simhash INTEGER UNIQUE)''')
     
182.         c.execute('''CREATE TABLE IF NOT EXISTS headlines
     
183.                     (id INTEGER PRIMARY KEY,
     
184.                      source TEXT,
     
185.                      title TEXT,
     
186.                      date TEXT)''')
     
187.         
     
188.         date = datetime.now().strftime("%Y-%m-%d")
     
189.         for title in titles:
     
190.             c.execute("INSERT INTO headlines (source, title, date) VALUES (?, ?, ?)",
     
191.                      (source, title, date))
     
192.             
     
193.             simhash = Simhash(title).value
     
194.             try:
     
195.                 c.execute("INSERT INTO title_fingerprints (simhash) VALUES (?)",
     
196.                          (simhash,))
     
197.             except sqlite3.IntegrityError:
     
198.                 pass
     
199.                
     
200.         conn.commit()
     
201.         conn.close()
     
202. 
     
203.     def safe_request(self, url, method='get', **kwargs):
     
204.         time.sleep(random.uniform(*REQUEST_INTERVAL))
     
205.    
     
206.         self.headers['User-Agent'] = random.choice([
     
207.             'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...',
     
208.             'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1...'
     
209.         ])
     
210.    
     
211.         try:
     
212.             response = requests.request(
     
213.                 method,
     
214.                 url,
     
215.                 headers=self.headers,
     
216.                 timeout=10,
     
217.                 proxies={'http': 'socks5://127.0.0.1:1080'},  # 使用代理池时另加
     
218.                 **kwargs
     
219.             )
     
220.             response.raise_for_status()
     
221.             return response
     
222.         except Exception as e:
     
223.             print(f'请求失败: {url} | 错误: {str(e)}')
     
224.             return None
     
225. 
     
226. 
     
227. # ReportGenerator类定义
     
228. class ReportGenerator:
     
229.     def __init__(self):
     
230.         with open(STOPWORDS_FILE, 'r', encoding='utf-8') as f:
     
231.             self.stopwords = set(f.read().splitlines())
     
232.         self.timestamp = datetime.now().strftime("%Y%m%d_%H%M")
     
233.         self.simhash_cache = self.load_historical_hashes()
     
234.             
     
235.     def get_today_titles(self):
     
236.         conn = sqlite3.connect(DATABASE)
     
237.         c = conn.cursor()
     
238.         c.execute("SELECT title FROM headlines WHERE date = ?",
     
239.                  (datetime.now().strftime("%Y-%m-%d"),))
     
240.         raw_titles = [row[0] for row in c.fetchall()]
     
241.         
     
242.         return self.deduplicate(raw_titles)
     
243. 
     
244.     def analyze_keywords(self, titles):
     
245.         words = []
     
246.         for title in titles:
     
247.             words += [word for word in jieba.cut(title)
     
248.                      if word not in self.stopwords and len(word) > 1]
     
249.                      
     
250.         return Counter(words).most_common(20)
     
251. 
     
252.     def generate_wordcloud(self):
     
253.         titles = self.get_today_titles()
     
254.         keywords = self.analyze_keywords(titles)
     
255.         
     
256.         word_freq = {word: freq for word, freq in keywords}
     
257.         wc = WordCloud(
     
258.             font_path=FONT_PATH,
     
259.             width=800,
     
260.             height=600,
     
261.             background_color='white'
     
262.         ).generate_from_frequencies(word_freq)
     
263.         
     
264.         img_path = f'temp_wc_{self.timestamp}.png'
     
265.         plt.figure(figsize=(12, 8))
     
266.         plt.imshow(wc)
     
267.         plt.axis("off")
     
268.         plt.savefig(img_path, bbox_inches='tight')
     
269.         plt.close()
     
270.         return img_path, keywords
     
271. 
     
272.     def create_pdf_report(self):
     
273.         img_path, keywords = self.generate_wordcloud()
     
274. 
     
275.         html_content = f'''
     
276.         <html>
     
277.             <head>
     
278.                 <meta charset="utf-8">
     
279.                 <title>新闻热点分析报告</title>
     
280.                 <style>
     
281.                     body {{ font-family: Arial; margin: 2cm; }}
     
282.                     h1 {{ color: #2c3e50; border-bottom: 2px solid #3498db; }}
     
283.                     .timestamp {{ color: #7f8c8d; }}
     
284.                     .keywords {{ columns: 2; margin: 20px 0; }}
     
285.                     img {{ width: 80%; margin: 20px auto; display: block; }}
     
286.                 </style>
     
287.             </head>
     
288.             <body>
     
289.                 <h1>新闻热点分析报告</h1>
     
290.                 <div class="timestamp">生成时间：{datetime.now().strftime("%Y-%m-%d %H:%M")}</div>
     
291.                
     
292.                 <h2>今日TOP20关键词</h2>
     
293.                 <div class="keywords">
     
294.                     {''.join([f'<div>{word[0]} ({word[1]})</div>' for word in keywords])}
     
295.                 </div>
     
296.                
     
297.                 <h2>词云图</h2>
     
298.                 <img src="{img_path}">
     
299.             </body>
     
300.         </html>
     
301.         '''
     
302.         
     
303.         os.makedirs(REPORT_DIR, exist_ok=True)
     
304.         pdf_filename = f'热点分析报告_{self.timestamp}.pdf'
     
305.         pdf_path = os.path.join(REPORT_DIR, pdf_filename)
     
306.         
     
307.         HTML(string=html_content).write_pdf(pdf_path)
     
308. 
     
309.         if os.path.exists(img_path):
     
310.             os.remove(img_path)
     
311.             
     
312.         return pdf_path
     
313. 
     
314.     def load_historical_hashes(self):
     
315.         conn = sqlite3.connect(DATABASE)
     
316.         c = conn.cursor()
     
317.         c.execute("SELECT simhash FROM title_fingerprints")
     
318.         simhashes = {row[0] for row in c.fetchall()}
     
319.         conn.close()
     
320.         return simhashes
     
321. 
     
322.     def deduplicate(self, titles):
     
323.         unique = list(set(titles))
     
324.         unique = self.remove_edit_duplicates(unique)
     
325.         return self.remove_semantic_duplicates(unique)
     
326. 
     
327.     def remove_edit_duplicates(self, titles):
     
328.         filtered = []
     
329.         for title in titles:
     
330.             if not any(self.edit_distance(title, t) < 3 for t in filtered):
     
331.                 filtered.append(title)
     
332.         return filtered
     
333. 
     
334.     def remove_semantic_duplicates(self, titles):
     
335.         filtered = []
     
336.         for title in titles:
     
337.             current_hash = Simhash(title).value
     
338.             if not any(self.hamming_distance(current_hash, h) < 6 for h in self.simhash_cache):
     
339.                 filtered.append(title)
     
340.                 self.simhash_cache.add(current_hash)
     
341.         return filtered
     
342. 
     
343.     @staticmethod
     
344.     def edit_distance(s1, s2):
     
345.         m, n = len(s1), len(s2)
     
346.         dp = [[0]*(n+1) for _ in range(m+1)]
     
347.         for i in range(m+1): dp[i][0] = i
     
348.         for j in range(n+1): dp[0][j] = j
     
349.         
     
350.         for i in range(1, m+1):
     
351.             for j in range(1, n+1):
     
352.                 cost = 0 if s1[i-1] == s2[j-1] else 1
     
353.                 dp[i][j] = min(dp[i-1][j]+1, dp[i][j-1]+1, dp[i-1][j-1]+cost)
     
354.                
     
355.         return dp[m][n]
     
356. 
     
357.     @staticmethod
     
358.     def hamming_distance(h1, h2):
     
359.         return bin(h1 ^ h2).count('1')
     
360. 
     
361. 
     
362. # ==================== 主程序 ====================
     
363. if __name__ == '__main__':
     
364.     try:
     
365.         crawler = NewsCrawler()
     
366.         crawler.crawl_all()
     
367.         
     
368.         reporter = ReportGenerator()
     
369.         pdf_path = reporter.create_pdf_report()
     
370.         print(f'报告已生成: {os.path.abspath(pdf_path)}')
     
371.         
     
372.     except Exception as e:
     
373.         print(f'程序运行出错: {str(e)}')

复制代码

目前编译到class NewsCrawler那里，提示有语法错误，请看一下具体是什么问题。

最佳答案

月排行榜 / 总排行榜

小甲鱼的二师兄

2025-2-3 18:21:03

下面代码报语法错误的原因是 TARGETS 配置中“头条热榜”的字典没有正确闭合。仔细看这一段代码：

1. '头条热榜': {
   
2.     'url': 'https://www.toutiao.com/hot-event/hot-board/',
   
3.     'method': 'api',
   
4.     'params': {'origin': 'toutiao_pc'},
   
5.     'headers': {
   
6.         'Referer': 'https://www.toutiao.com/'
   
7.     }
   
8. }

复制代码

而你提供的代码中写成这样：

1. '头条热榜': {
   
2.     'url': 'https://www.toutiao.com/hot-event/hot-board/',
   
3.     'method': 'api',
   
4.     'params': {'origin': 'toutiao_pc'},
   
5.     'headers': {
   
6.         'Referer': 'https://www.toutiao.com/'
   
7. }

复制代码

如果不小心少了一个右大括号或者右括号，则 Python 编译器会提示语法错误。

跳转到最佳答案楼层

小甲鱼的二师兄

下面代码报语法错误的原因是 TARGETS 配置中“头条热榜”的字典没有正确闭合。仔细看这一段代码：

1. '头条热榜': {
   
2.     'url': 'https://www.toutiao.com/hot-event/hot-board/',
   
3.     'method': 'api',
   
4.     'params': {'origin': 'toutiao_pc'},
   
5.     'headers': {
   
6.         'Referer': 'https://www.toutiao.com/'
   
7.     }
   
8. }

复制代码

而你提供的代码中写成这样：

1. '头条热榜': {
   
2.     'url': 'https://www.toutiao.com/hot-event/hot-board/',
   
3.     'method': 'api',
   
4.     'params': {'origin': 'toutiao_pc'},
   
5.     'headers': {
   
6.         'Referer': 'https://www.toutiao.com/'
   
7. }

复制代码

如果不小心少了一个右大括号或者右括号，则 Python 编译器会提示语法错误。

shadowmage

小甲鱼的二师兄 发表于 2025-2-3 18:21
下面代码报语法错误的原因是 TARGETS 配置中“头条热榜”的字典没有正确闭合。仔细看这一段代码：

谢谢指正。

shadowmage

运行后，又出幺蛾子了，前面爬得还行，爬到百度热榜，错误提示来了：
程序运行出错: Python int too large to convert to SQLite INTEGER

@FishC

FishC

shadowmage 发表于 2025-02-03 19:53
运行后，又出幺蛾子了，前面爬得还行，爬到百度热榜， ...

你遇到的错误是因为要存储到SQLite数据库的整数值超出了SQLite的INTEGER类型的范围。SQLite的INTEGER类型是有大小限制的，通常它能够存储的范围为 -2^63 到 2^63-1。

要解决这个问题，你可以尝试以下几种解决方案：

解决方案 1: 使用TEXT类型来存储大整数
将数据库表中存储整数的列改为TEXT类型，以便可以存储更大的数值。

解决方案 2: 使用更合适的数据类型
在Python中处理这些数据时，确保不会超过SQLite的存储限制。如果确实需要存储非常大的整数，可以考虑是否压缩或转换数据格式。

下面是一个示例代码，展示如何在创建表时使用TEXT类型：

1. 
   
2. import sqlite3
   
3. 
   
4. def create_table():
   
5.     conn = sqlite3.connect('example.db')
   
6.     cursor = conn.cursor()
   
7.     # 创建表，使用TEXT类型来存储可能的大整数值
   
8.     cursor.execute('''
   
9.         CREATE TABLE IF NOT EXISTS hotlist (
   
10.             id TEXT PRIMARY KEY,
    
11.             title TEXT,
    
12.             url TEXT
    
13.         )
    
14.     ''')
    
15.     conn.commit()
    
16.     conn.close()
    
17. 
    
18. create_table()
    

复制代码

如果需要进一步操作或者有其他问题，请随时告诉我！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。