Python 爬取投诉建议专区的帖子

qiuyouzhi

Python 爬取投诉建议专区的帖子

1. from requests import get
   
2. from bs4 import BeautifulSoup as BS
   
3. 
   
4. def open_url(url):  
   
5.     # headers 自己填
   
6.     res = get(url,headers = headers)
   
7.     return res
   
8. 
   
9. def get_T(res, f):
   
10.     soup = BS(res.text, "html.parser")
    
11.     target = soup.find_all("a", onclick="atarget(this)", class_="s xst")
    
12.     for each in target:
    
13.         f.write(each.text)
    
14.         f.write(' ')
    
15.         f.write(each['href'])
    
16.         f.write('\n')
    
17. 
    
18. def main():
    
19.     f = open("投诉建议专区.txt", 'w', encoding = "gbk")
    
20.     for i in range(1, 21):
    
21.         try:
    
22.             url = 'https://fishc.com.cn/forum-26-%d.html' % i
    
23.             res = open_url(url)
    
24.             get_T(res, f)
    
25.         except UnicodeEncodeError as reason:
    
26.             print("出错啦！错误原因: ", reason)
    
27.     f.close()
    
28.    
    
29. if __name__ == "__main__":
    
30.     main()

复制代码

headers自己填，不然爬不到（加上Cookie）。

乘号

怪不得论坛这么卡，原来是你！！！！！！！

qiuyouzhi

乘号 发表于 2020-3-30 17:39
怪不得论坛这么卡，原来是你！！！！！！！

得了吧
我每次测试最多爬5页
做人，说话要有证据

乘号

乘号 发表于 2020-3-30 17:39
怪不得论坛这么卡，原来是你！！！！！！！

只爬5页

wuqramy

乘号 发表于 2020-3-30 17:43
只爬5页

5页够少了