爬取微博网页不断出现重复，可赏分

赤龙将

我使用以下代码，爬取微博网页，但是运行时产生的结果不断重复前三十个话题，我认为是这部分代码出了问题，希望有大佬能帮助一下。
这是我使用的代码

1. # -*- coding: utf-8 -*-
   
2. import requests,random,re
   
3. import time
   
4. import os
   
5. import csv
   
6. import sys
   
7. import json
   
8. import importlib
   
9. from fake_useragent import UserAgent
   
10. from lxml import etree
    
11. 
    
12. importlib.reload(sys)
    
13. startTime = time.time() #记录起始时间
    
14. 
    
15. #--------------------------------------------文件存储-----------------------------------------------------
    
16. path = "E:\DESKTOP\wenbenwajuewenjianjia\weiboComments.csv"
    
17. csvfile = open(path, 'a', newline='', encoding = 'utf-8-sig')
    
18. writer = csv.writer(csvfile)
    
19. #csv头部
    
20. writer.writerow(('话题链接','话题内容','楼主ID', '楼主昵称', '楼主性别','发布日期',
    
21.                  '发布时间', '转发量','评论量','点赞量', '评论者ID', '评论者昵称',
    
22.                  '评论者性别', '评论日期', '评论时间','评论内容'))
    
23. 
    
24. #设置heades
    
25. headers = {
    
26.     'Cookie': '_T_WM=22822641575; H5_wentry=H5; backURL=https%3A%2F%2Fm.weibo.cn%2F; ALF=1584226439; MLOGIN=1; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5RJaVYrb.BEuOvUQ8Ca2OO5JpX5K-hUgL.FoqESh-7eKzpShM2dJLoIp7LxKML1KBLBKnLxKqL1hnLBoMceoBfeh2EeKBN; SCF=AnRSOFp6QbWzfH1BqL4HB8my8eWNC5C33KhDq4Ko43RUIzs6rjJC49kIvz5_RcOJV2pVAQKvK2UbAd1Uh6j0pyo.; SUB=_2A25zQaQBDeRhGeBM71cR8SzNzzuIHXVQzcxJrDV6PUJbktAKLXD-kW1NRPYJXhsrLRnku_WvhsXi81eY0FM2oTtt; SUHB=0mxU9Kb_Ce6s6S; SSOLoginState=1581634641; WEIBOCN_FROM=1110106030; XSRF-TOKEN=dc7c27; M_WEIBOCN_PARAMS=oid%3D4471980021481431%26luicode%3D20000061%26lfid%3D4471980021481431%26uicode%3D20000061%26fid%3D4471980021481431',
    
27.     'Referer': 'https://m.weibo.cn/detail/4312409864846621',
    
28.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36',
    
29.     'X-Requested-With': 'XMLHttpRequest'
    
30. }
    
31. 
    
32. #-----------------------------------爬取战疫情首页的每个主题的ID------------------------------------------
    
33. comments_ID = []
    
34. def get_title_id():
    
35.     for page in range(1,4):  #每个页面大约有18个话题
    
36.         headers = {
    
37.             "User-Agent" : UserAgent().chrome #chrome浏览器随机代理
    
38.         }
    
39.         time.sleep(1)
    
40.         #该链接通过抓包获得
    
41.         api_url = 'https://m.weibo.cn/api/feed/trendtop?containerid=102803_ctg1_600059_-_ctg1_600059&page=' + str(page)
    
42.         print(api_url)
    
43.         rep = requests.get(url=api_url, headers=headers)
    
44.         #获取ID值并写入列表comment_ID中
    
45.         for json in rep.json()['data']['statuses']:
    
46.             comment_ID = json['id']
    
47.             comments_ID.append(comment_ID)
    
48. 
    
49. #-----------------------------------爬取战疫情每个主题的详情页面------------------------------------------         
    
50. def spider_title(comment_ID):
    
51.     try:
    
52.         article_url = 'https://m.weibo.cn/detail/'+ comment_ID
    
53.         print ("article_url = ", article_url)
    
54.         html_text = requests.get(url=article_url, headers=headers).text
    
55.         #话题内容
    
56.         find_title = re.findall('.*?"text": "(.*?)",.*?', html_text)[0]
    
57.         title_text = re.sub('<(S*?)[^>]*>.*?|<.*? />', '', find_title) #正则匹配掉html标签
    
58.         print ("title_text = ", title_text)
    
59.         #楼主ID
    
60.         title_user_id = re.findall('.*?"id": (.*?),.*?', html_text)[1]
    
61.         print ("title_user_id = ", title_user_id)
    
62.         #楼主昵称
    
63.         title_user_NicName = re.findall('.*?"screen_name": "(.*?)",.*?', html_text)[0]
    
64.         print ("title_user_NicName = ", title_user_NicName)
    
65.         #楼主性别
    
66.         title_user_gender = re.findall('.*?"gender": "(.*?)",.*?', html_text)[0]
    
67.         print ("title_user_gender = ", title_user_gender)
    
68.         #发布时间
    
69.         created_title_time = re.findall('.*?"created_at": "(.*?)".*?', html_text)[0].split(' ')
    
70.         #日期
    
71.         if 'Mar' in created_title_time:
    
72.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '03', created_title_time[2])
    
73.         elif 'Feb' in created_title_time:
    
74.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '02', created_title_time[2])
    
75.         elif 'Jan' in created_title_time:
    
76.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '01', created_title_time[2])
    
77.         elif 'Apr' in created_title_time:
    
78.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '04', created_title_time[2])
    
79.         elif 'May' in created_title_time:
    
80.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '05', created_title_time[2])
    
81.         elif 'Jun' in created_title_time:
    
82.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '06', created_title_time[2])
    
83.         elif 'Jul' in created_title_time:
    
84.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '07', created_title_time[2])
    
85.         elif 'Aug' in created_title_time:
    
86.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '08', created_title_time[2])
    
87.         elif 'Sep' in created_title_time:
    
88.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '09', created_title_time[2])
    
89.         elif 'Oct' in created_title_time:
    
90.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '10', created_title_time[2])
    
91.         elif 'Nov' in created_title_time:
    
92.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '11', created_title_time[2])
    
93.         elif 'Dec' in created_title_time:
    
94.             title_created_YMD = "{}/{}/{}".format(created_title_time[-1], '12', created_title_time[2])
    
95.         else:
    
96.             print ('该时间不在疫情范围内，估计数据有误！URL = ')
    
97.             pass
    
98.         print ("title_created_YMD = ", title_created_YMD)
    
99. 
    
100.         #发布时间
     
101.         add_title_time = created_title_time[3]
     
102.         print ("add_title_time = ", add_title_time)
     
103.         #转发量
     
104.         reposts_count = re.findall('.*?"reposts_count": (.*?),.*?', html_text)[0]
     
105.         print ("reposts_count = ", reposts_count)
     
106.         #评论量
     
107.         comments_count = re.findall('.*?"comments_count": (.*?),.*?', html_text)[0]
     
108.         print ("comments_count = ", comments_count)
     
109.         #点赞量
     
110.         attitudes_count = re.findall('.*?"attitudes_count": (.*?),.*?', html_text)[0]
     
111.         print ("attitudes_count = ", attitudes_count)   
     
112.         comment_count = int(int(comments_count) / 20) #每个ajax一次加载20条数据
     
113.         position1 = (article_url, title_text, title_user_id, title_user_NicName,title_user_gender, title_created_YMD, add_title_time, reposts_count, comments_count, attitudes_count, " ", " ", " ", " "," ", " ")
     
114.         #写入数据
     
115.         writer.writerow((position1))
     
116.         return comment_count
     
117.     except:
     
118.         pass
     
119. 
     
120. 
     
121. #-------------------------------------------------抓取评论信息---------------------------------------------------
     
122. #comment_ID话题编号
     
123. def get_page(comment_ID, max_id, id_type):
     
124.     params = {
     
125.         'max_id': max_id,
     
126.         'max_id_type': id_type
     
127.     }
     
128.     url = ' https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id'.format(comment_ID, comment_ID)
     
129.     try:
     
130.         r = requests.get(url, params=params, headers=headers)
     
131.         if r.status_code == 200:
     
132.             return r.json()
     
133.     except requests.ConnectionError as e:
     
134.         print('error', e.args)
     
135.         pass
     
136. 
     
137. #-------------------------------------------------抓取评论item最大值---------------------------------------------------
     
138. def parse_page(jsondata):
     
139.     if jsondata:
     
140.         items = jsondata.get('data')
     
141.         item_max_id = {}
     
142.         item_max_id['max_id'] = items['max_id']
     
143.         item_max_id['max_id_type'] = items['max_id_type']
     
144.         return item_max_id
     
145. 
     
146. #-------------------------------------------------抓取评论信息---------------------------------------------------
     
147. def write_csv(jsondata):
     
148.     for json in jsondata['data']['data']:
     
149.         #用户ID
     
150.         user_id = json['user']['id']
     
151.         # 用户昵称
     
152.         user_name = json['user']['screen_name']
     
153.         # 用户性别,m表示男性，表示女性
     
154.         user_gender = json['user']['gender']
     
155.         #获取评论
     
156.         comments_text = json['text']
     
157.         comment_text = re.sub('<(S*?)[^>]*>.*?|<.*? />', '', comments_text) #正则匹配掉html标签
     
158.         # 评论时间
     
159.         created_times = json['created_at'].split(' ')
     
160.         if 'Feb' in created_times:
     
161.             created_YMD = "{}/{}/{}".format(created_times[-1], '02', created_times[2])
     
162.         elif 'Jan' in created_times:
     
163.             created_YMD = "{}/{}/{}".format(created_times[-1], '01', created_times[2])
     
164.         else:
     
165.             print ('该时间不在疫情范围内，估计数据有误！')
     
166.             pass
     
167.         created_time = created_times[3] #评论时间时分秒
     
168.         #if len(comment_text) != 0:
     
169.         position2 = (" ", " ", " ", " "," ", " ", " ", " ", " ", " ", user_id, user_name, user_gender, created_YMD, created_time, comment_text)
     
170.         writer.writerow((position2))#写入数据
     
171.         #print (user_id, user_name, user_gender, created_YMD, created_time)   
     
172. 
     
173. 
     
174. #-------------------------------------------------主函数---------------------------------------------------
     
175. def main():
     
176.     count_title = len(comments_ID)
     
177.     for count, comment_ID in enumerate(comments_ID):
     
178.         print ("正在爬取第%s个话题，一共找到个%s话题需要爬取"%(count+1, count_title))
     
179.         #maxPage获取返回的最大评论数量
     
180.         maxPage = spider_title(comment_ID)
     
181.         print ('maxPage = ', maxPage)
     
182.         m_id = 0
     
183.         id_type = 0
     
184.         if maxPage != 0: #小于20条评论的不需要循环
     
185.             try:
     
186.                 #用评论数量控制循环
     
187.                 for page in range(0, maxPage):
     
188.                     #自定义函数-抓取网页评论信息
     
189.                     jsondata = get_page(comment_ID, m_id, id_type)
     
190.                     
     
191.                     #自定义函数-写入CSV文件
     
192.                     write_csv(jsondata)
     
193.                     
     
194.                     #自定义函数-获取评论item最大值
     
195.                     results = parse_page(jsondata)
     
196.                     time.sleep(1)
     
197.                     m_id = results['max_id']
     
198.                     id_type = results['max_id_type']              
     
199.             except:
     
200.                 pass
     
201.         print ("--------------------------分隔符---------------------------")
     
202.     csvfile.close()
     
203.    
     
204. if __name__ == '__main__':
     
205.    
     
206.     #获取话题ID
     
207.     get_title_id()
     
208.    
     
209.     #主函数操作
     
210.     main()
     
211.    
     
212.     #计算使用时间
     
213.     endTime = time.time()
     
214.     useTime = (endTime-startTime) / 60
     
215.     print("该次所获的信息一共使用%s分钟"%useTime)

复制代码

这是我认为有问题的部分

1. comments_ID = []
   
2. def get_title_id():
   
3.     for page in range(1,477):  #每个页面大约有18个话题
   
4.         headers = {
   
5.             "User-Agent" : UserAgent().chrome #chrome浏览器随机代理
   
6.         }
   
7.         time.sleep(1)
   
8.         #该链接通过抓包获得
   
9.         api_url = 'https://m.weibo.cn/api/feed/trendtop?containerid=102803_ctg1_600059_-_ctg1_600059&page=' + str(page)
   
10.         print(api_url)
    
11.         rep = requests.get(url=api_url, headers=headers)
    
12.         #获取ID值并写入列表comment_ID中
    
13.         for json in rep.json()['data']['statuses']:
    
14.             comment_ID = json['id']
    
15.             comments_ID.append(comment_ID)

复制代码

结果放在图片里，不断地重复那几个网页
（怎么用鱼币悬赏感谢啊我不会）

赤龙将

还有那个URL里   /api/feed   是哪里来的，希望大佬解答

lightninng

赤龙将 发表于 2021-11-25 20:13
还有那个URL里   /api/feed   是哪里来的，希望大佬解答

建议使用vsode或者pyharm编写代码，然后i可以单步执行，同时可以看到每一步时所有变量的值，这总问题一般都可以通过这样的方式解决