采集豆瓣评价问题 请指教

swanseabrian

我有个代码采集豆瓣评价

fake useraget 设置了

代理ip也买了

可以是还是采集几页就

这是啥情况 呢请问
下面是代码

请帮我看下,

谢谢

1. #!/usr/bin/env python
   
2. # coding: utf-8
   
3. 
   
4. # In[135]:
   
5. 
   
6. 
   
7. import json
   
8. import random
   
9. import time
   
10. import copyheaders
    
11. import pandas
    
12. import requests
    
13. from fake_useragent import UserAgent
    
14. 
    
15. 
    
16. # In[136]:
    
17. 
    
18. 
    
19. 
    
20. #pip install -i https://pypi.doubanio.com/simple/ fake_useragent
    
21. import tempfile
    
22. 
    
23. a = tempfile.gettempdir()
    
24. print(a)
    
25. ua = UserAgent(verify_ssl=False)
    
26. print(ua.random)
    
27. 
    
28. 
    
29. # In[137]:
    
30. 
    
31. 
    
32. headers = copyheaders.headers_raw_to_dict(b"""
    
33. Accept: application/json
    
34. Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
    
35. Cache-Control: no-cache
    
36. Connection: keep-alive
    
37. Host: m.douban.com
    
38. Pragma: no-cache
    
39. Referer: https://m.douban.com/movie/subject/27662747/comments?sort=time&start=25
    
40. Sec-Fetch-Dest: empty
    
41. Sec-Fetch-Mode: cors
    
42. Sec-Fetch-Site: same-origin
    
43. 
    
44. User-Agent: ua.random
    
45. X-Requested-With: XMLHttpRequest
    
46. cookie: bid=wy6mZvf0dsM;ll="118271";
    
47. """)
    
48. 
    
49. 
    
50. # In[138]:
    
51. 
    
52. 
    
53. golols = {
    
54.     "dl": {
    
55.         'https': '16150'
    
56.     }
    
57. }
    
58. 
    
59. 
    
60. # In[139]:
    
61. 
    
62. 
    
63. end_time = time.mktime(time.strptime('2015-01-01 00:00:00','%Y-%m-%d %H:%M:%S'))
    
64. 
    
65. 
    
66. # In[140]:
    
67. 
    
68. 
    
69. def getrate(text):
    
70.     if '很差' in text:
    
71.         return '1'
    
72.     elif '较差' in text:
    
73.         return '2'
    
74.     elif '还行' in text:
    
75.         return '3'
    
76.     elif '推荐' in text:
    
77.         return '4'
    
78.     elif '力荐' in text:
    
79.         return '5'
    
80.     else:
    
81.         return '-'
    
82. 
    
83. 
    
84. # In[141]:
    
85. 
    
86. 
    
87. def setproxy():
    
88.     try:
    
89.         time.sleep(random.randint(1, 10))  
    
90.         res = requests.get('http://http.tiqu.alibabaapi.com/getip?num=1&type=2&neek=563834&port=11&lb=1&pb=4&regions=')
    
91.         
    
92.         ip = (res.json().get("data")[0].get("ip") + ":" + res.json().get("data")[0].get("port"))
    
93.         golols['dl']["https"] = "https://" + ip
    
94.         print("https://" + ip)
    
95.     except Exception as e:
    
96.         print(e, "设置代理错误！")
    
97.         time.sleep(random.randint(1, 10))
    
98.         setproxy()
    
99. 
    
100. 
     
101. # In[142]:
     
102. 
     
103. 
     
104. def get_proxy(headers):
     
105.     #proxy_url为您在网站上的API
     
106.     proxy_url = 'http://http.9vps.com/getip.asp?username=17844629386&pwd=4dea396a2a6519e5817632c7552c2d33&geshi=1&fenge=1&fengefu=&getnum=1'
     
107.     aaa=requests.get(proxy_url, headers=headers).text
     
108.     proxy_host = aaa.splitlines()[0]
     
109.     print('代理IP为：'+proxy_host)
     
110.     proxy = {
     
111.         'http': proxy_host,
     
112.         'https': proxy_host,
     
113.     }
     
114.     return proxy
     
115. 
     
116. 
     
117. # In[143]:
     
118. 
     
119. 
     
120. def download_start_1(icode, iname):      #改动过
     
121.     count = 0   #控制评论start =
     
122.     result = []
     
123.     pids = []
     
124.     for i in range(9999):
     
125.         base_api = f'https://m.douban.com/rexxar/api/v2/movie/{icode}/interests?count=50&order_by=latest&anony=0&start={count}&ck=&for_mobile=1'
     
126.         print(f'正在请求地址：{base_api}')
     
127.         time.sleep(1)
     
128.         while True:
     
129.             proxy = get_proxy(headers)
     
130.             try:
     
131.                
     
132.    
     
133.                 res = requests.get(base_api,headers=headers,proxies=proxy, verify=False,timeout=10)   
     
134.                 time.sleep(1)
     
135.                 break
     
136.             except Exception as e:
     
137.                 print(f"网络异常：{e}")
     
138.                 get_proxy(headers)
     
139.                 time.sleep(5)
     
140.         coms_list = res.json().get("interests")   #解析json数据
     
141.         print(f'当前页码请求数量',len(coms_list))
     
142.         for icom in coms_list:
     
143.             if icom.get("id") in pids:
     
144.                 print(f"重复id暂不采集： {icom.get('id')}")
     
145.                 continue
     
146.             else:
     
147.                 pids.append(icom.get("id"))
     
148.                 count+=1
     
149.                 try:
     
150.                     saveitem = {}
     
151.                     saveitem["pid"] = icom.get("id")
     
152.                     saveitem["username"] = icom.get("user").get("id")
     
153.                     saveitem["rating_level"] = icom.get("rating").get("value") if icom.get("rating") != None else ''
     
154.                     saveitem["create_time"] = icom.get("create_time")
     
155.                     saveitem["vote_count"] = icom.get("vote_count")
     
156.                     saveitem["comment"] = icom.get("comment")
     
157. 
     
158.                     if time.mktime(time.strptime(icom.get("create_time"), '%Y-%m-%d %H:%M:%S')) <= end_time:
     
159.                         print(f"超出时间 ==》exit")   
     
160.                         data_p = pandas.DataFrame(result)
     
161.                         data_p.to_excel(f"C:\\Users\\31051\\Desktop\\wait\\评论\\data_{icode}({iname}).xlsx",index=False)   
     
162.                         return
     
163.                     result.append(saveitem)
     
164.                     print(f'页码：{i} 数量：{count}  {saveitem}')
     
165. 
     
166.                 except  Exception as e:
     
167. 
     
168.                     print(f"网络异常：{e}")
     
169.                     continue
     
170. 
     
171.         if len(coms_list) != 0:
     
172.             flag_count = 0
     
173.         
     
174.         if len(coms_list) == 0:
     
175.             flag_count = flag_count + 1
     
176.         
     
177.         if flag_count >= 5:
     
178.             print("NO.1")
     
179.             print(flag_count)
     
180.             break
     
181.         
     
182.         if  len(coms_list) <=40 and len(coms_list) % 100 != 0:
     
183.             print(f"当前页码无数据  exit")
     
184.             print("NO.2")
     
185.             break
     
186. 
     
187.         if count >= res.json().get("total"):
     
188.             print(f"超出最大限制 exit")
     
189.             print("NO.3")
     
190.             break
     
191. 
     
192.     print(len(result))
     
193.     data_p = pandas.DataFrame(result)
     
194. #     data_p.to_excel(f"C:\\Users\\31051\\Desktop\\wait\\评论\\data_{icode}({iname}).xlsx",index=False)
     
195. 
     
196. 
     
197. # In[144]:
     
198. 
     
199. 
     
200. import pandas as pd
     
201. 
     
202. 
     
203. # In[145]:
     
204. 
     
205. 
     
206. df_empty = pd.DataFrame(columns = ['name','id'])
     
207. 
     
208. 
     
209. # In[146]:
     
210. 
     
211. 
     
212. #df_empty = df_empty.append({'name': '一秒钟', 'id': '30257787'}, ignore_index=True)
     
213. df_empty = df_empty.append({'name': '寻汉计', 'id': '30464901'}, ignore_index=True)
     
214. df_empty = df_empty.append({'name': '日常幻想指南', 'id': '26823520'}, ignore_index=True)
     
215. #df_empty = df_empty.append({'name': '寂静之地2', 'id': '30206311'}, ignore_index=True)
     
216. #df_empty = df_empty.append({'name': '荞麦疯长', 'id': '30170833'}, ignore_index=True)
     
217. 
     
218. #df_empty = df_empty.append({'name': '蜜熊的音乐奇旅', 'id': '26935358'}, ignore_index=True)
     
219. #df_empty = df_empty.append({'name': '大红包', 'id': '33457717'}, ignore_index=True)
     
220. #df_empty = df_empty.append({'name': '五个扑水的少年', 'id': '35030151'}, ignore_index=True)
     
221. #df_empty = df_empty.append({'name': '中国医生', 'id': '35087699'}, ignore_index=True)
     
222. 
     
223. #df_empty = df_empty.append({'name': '花木兰', 'id': '26357307'}, ignore_index=True)
     
224. #df_empty = df_empty.append({'name': '送你一朵小红花', 'id': '35096844'}, ignore_index=True)
     
225. 
     
226. #df_empty = df_empty.append({'name': '宝可梦：超梦的逆袭 进化', 'id': '30272753'}, ignore_index=True)
     
227. #df_empty = df_empty.append({'name': '小妇人', 'id': '26348103'}, ignore_index=True)
     
228. 
     
229. #df_empty = df_empty.append({'name': '第一次的离别', 'id': '30337172'}, ignore_index=True)
     
230. #df_empty = df_empty.append({'name': '哆啦A梦：大雄的新恐龙', 'id': '34454004'}, ignore_index=True)
     
231. 
     
232. 
     
233. # In[147]:
     
234. 
     
235. 
     
236. df_empty
     
237. 
     
238. 
     
239. # In[148]:
     
240. 
     
241. 
     
242. for i in range(len(df_empty)):
     
243.     flag_count = 0
     
244.     icode = df_empty['id'].iloc[i]
     
245.     iname = df_empty['name'].iloc[i]
     
246. 
     
247.     download_start_1(icode, iname)
     
248. 
     
249. 
     
250. # In[ ]:
     
251. 
     
252. 
     
253. 
     
254. 
     

复制代码

isdkz

你确定你能爬取几页？

第一：requests 设置 proxy 的时候 url 是要带上协议的，

你提取代理的时候返回的代理只有 ip 地址和端口，所以你的 proxy 字典里面要自己加上去

1. def get_proxy(headers):
   
2.     #proxy_url为您在网站上的API
   
3.     proxy_url = 'http://http.9vps.com/getip.asp?username=17844629386&pwd=4dea396a2a6519e5817632c7552c2d33&geshi=1&fenge=1&fengefu=&getnum=1'
   
4.     aaa=requests.get(proxy_url, headers=headers).text
   
5.     proxy_host = aaa.splitlines()[0]
   
6.     print('代理IP为：'+proxy_host)
   
7.     proxy = {
   
8.         'http': 'http://' + proxy_host,                        # 得在 ip 前面加上协议（代理的类型）
   
9.         'https': 'http://' + proxy_host,                       # 得在 ip 前面加上协议（代理的类型）
   
10.     }
    
11.     return proxy

复制代码

第二：好像你那个代理接口提取出来的代理很多都不能用的

第三：不要随随便便把自己的接口暴露出来

swanseabrian

isdkz 发表于 2022-5-1 22:34
你确定你能爬取几页？

第一：requests 设置 proxy 的时候 url 是要带上协议的，

这代码是 买ip的网站给你 实例代码,我没改就,应该没问题吧

采的数据 跟不设置是一样的,都是600条数据
但我一个朋友测试他可以采集1800条
所以我觉得还是被限制了