[已解决]Python爬虫

isdkz

建议把你的代码放上来

isdkz

peng_python 发表于 2022-3-23 16:29

有一个地方的标签的 class 改了：

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. 
   
6. def get_input():
   
7.     keyword = input("请输入关键词：")
   
8.     pages = int(input("请输入要爬取得页数（1~50）："))
   
9. 
   
10.     while pages not in range(1, 51):
    
11.         pages = int(input("请输入正确的页数："))
    
12. 
    
13.     return keyword, pages
    
14. 
    
15. 
    
16. def get_html(url):
    
17.     headers = {
    
18.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    
19.     res = requests.get(url, headers=headers)
    
20.     #print(res)
    
21. 
    
22.     return res.text
    
23. 
    
24. 
    
25. def get_datas(text):
    
26.     soup = bs4.BeautifulSoup(text, "html.parser")
    
27. 
    
28.     datas = []
    
29.     #videos = soup.find_all("li", class_="video matrix")                 
    
30.     videos = soup.find_all("li", class_="video-item matrix")               # 这里的标签类名改了
    
31.     for video in videos:
    
32.         # 获取标题
    
33.         datas.append(video.a['title'])
    
34.         # 获取URL
    
35.         datas.append(video.a['href'])
    
36.         # 获取观看数/弹幕数/上传时间/阿婆主
    
37.         tags = video.select("div[class='tags'] > span")
    
38. 
    
39.         for tag in tags:
    
40.             datas.append(''.join(tag.text.split()))
    
41.     return datas
    
42. 
    
43. 
    
44. def grouped(iterable, n):
    
45.     "将列表切成n片一组"
    
46.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
    
47.     return zip(*[iter(iterable)] * n)
    
48. 
    
49. 
    
50. 
    
51. def main():
    
52.     keyword, pages = get_input()
    
53.     order = ['totalrank', 'click', 'dm', 'stow']
    
54.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']
    
55. 
    
56.     # 迭代每种排序
    
57.     for i in range(4):
    
58.         index = 1
    
59.         # 迭代每一页
    
60.         for page in range(1, pages + 1):
    
61.             # url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword,
    
62.             #                                                                                                 order[i],
    
63.             #                                                                                                 page)
    
64.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&page={}".format(keyword,
    
65.                                                                                                   order[i],
    
66.                                                                                                   page)
    
67. 
    
68.             text = get_html(url)
    
69.             datas = get_datas(text)
    
70.             # 为每种排序创建一个文本文件单独存放
    
71.    
    
72.             with open(order_name[i] + '.txt', 'a', encoding="utf-8") as file:
    
73.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
    
74.                     file.write(' + '.join(
    
75.                         [str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
    
76.                     index += 1
    
77.             # 做一只善意的爬虫，不要给服务器带来负担
    
78.             time.sleep(1)
    
79. 
    
80. 
    
81. if __name__ == "__main__":
    
82.     main()

复制代码