对【爬虫篇】《极客Python之效率革命》 找出b站最受欢迎视频的一些改动

梦回极光

对小甲鱼大佬发布的 找出b站最受欢迎的编程课程 的爬虫代码的改进。b站网页源代码有所变化，title的class从class_="video matrix"变成了class_="video-item matrix"。
把对编程区的搜索改成了综合搜索。
另改进了生成的txt文本的排版。

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. def get_input():
   
6.     keyword = input("请输入关键词：")
   
7.     pages = int(input("请输入要爬取得页数（1~50）："))
   
8. 
   
9.     while pages not in range(1, 51):
   
10.         pages = int(input("请输入正确的页数："))
    
11. 
    
12.     return keyword, pages
    
13. 
    
14. 
    
15. def get_html(url):
    
16.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    
17.     res = requests.get(url, headers=headers)
    
18. 
    
19.     return res.text
    
20. 
    
21. 
    
22. 
    
23. def get_datas(text):
    
24.     soup = bs4.BeautifulSoup(text, "html.parser")
    
25.    
    
26.     datas = []  
    
27.     videos = soup.find_all("li", class_="video-item matrix")
    
28.     for video in videos:
    
29.         # 获取标题
    
30.         datas.append(video.a['title'])
    
31.         # 获取URL
    
32.         datas.append('https:'+video.a['href'])       #多出//
    
33.         # 获取观看数/弹幕数/上传时间/阿婆主
    
34.         tags = video.select("div[class='tags'] > span")
    
35.         for tag in tags:
    
36.             datas.append(''.join(tag.text.split()))
    
37. 
    
38.     return datas
    
39. 
    
40.    
    
41. 
    
42. 
    
43. def grouped(iterable, n):
    
44.     "将列表切成n片一组"
    
45.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
    
46.     return zip(*[iter(iterable)]*n)
    
47. 
    
48. 
    
49. def main():
    
50.     keyword, pages = get_input()
    
51.     order = ['totalrank', 'click', 'dm', 'stow']
    
52.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']
    
53.    
    
54.     # 迭代每种排序
    
55.     for i in range(4):
    
56.         index = 1
    
57.         # 迭代每一页
    
58.         for page in range(1, pages+1):
    
59.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=0&page={}".format(keyword, order[i], page)
    
60.             text = get_html(url)
    
61.             datas = get_datas(text)
    
62.             # 为每种排序创建一个文本文件单独存放
    
63.             with open(keyword+"     "+order_name[i]+'.txt', 'a', encoding="utf-8") as file:
    
64.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
    
65.                     file.write('       '.join([str(index),'\n'+'名称：', video_title,'\n'+'地址：', video_URL,'\n'+'播放量：', video_watch,'\n'+'弹幕数：', video_dm,'\n'+'发布时间：', video_time,'\n'+'up主：', video_up, '\n']))
    
66.                     index += 1
    
67.             # 做一只善意的爬虫，不要给服务器带来负担
    
68.             time.sleep(1)
    
69.    
    
70. if __name__ == "__main__":
    
71.     main()

复制代码

不过这段代码在我的电脑上，第一次打开时无法运行的，需要二次打开才能正常工作。很魔性。。。。

老兵hb

andy_william 发表于 2020-4-14 19:34
Traceback (most recent call last):
  File "D:\python\搜索B站编程课程.py", line 1, in
    import r ...

没有安装requests模块

费小牛

第34行是什么意思 ，小白求教

ai自由

andy_william 发表于 2020-4-14 19:34
Traceback (most recent call last):
  File "D:\python\搜索B站编程课程.py", line 1, in
    import r ...

什么情况   大佬我也是这问题

ai自由

============= RESTART: D:/A桌面/Users/XY/Desktop/python练习代码/爬取编程课.py =============
Traceback (most recent call last):
  File "D:/A桌面/Users/XY/Desktop/python练习代码/爬取编程课.py", line 1, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'
>>>

不知道什么情况  谢谢各位大佬

oooipussy

第一次 不行是  什么bug?

andy_william

Traceback (most recent call last):
  File "D:\python\搜索B站编程课程.py", line 1, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

大佬，这个是什么情况啊

starchaser

牛批

杜若左

谢谢大佬