[已解决]B站最受欢迎的编程课

jump_p

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. def get_input():
   
6.     keyword = input("请输入关键词：")
   
7.     pages = int(input("请输入要爬取得页数（1~50）："))
   
8. 
   
9.     while pages not in range(1, 51):
   
10.         pages = int(input("请输入正确的页数："))
    
11. 
    
12.     return keyword, pages
    
13. 
    
14. 
    
15. def get_html(url):
    
16.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    
17.     res = requests.get(url, headers=headers)
    
18. 
    
19.     return res.text
    
20. 
    
21. 
    
22. def get_datas(text):
    
23.     soup = bs4.BeautifulSoup(text, "html.parser")
    
24.    
    
25.     datas = []  
    
26.     videos = soup.find_all("li", class_="video-item matrix")
    
27.     for video in videos:
    
28.         # 获取标题
    
29.         datas.append(video.a['title'])
    
30.         # 获取URL
    
31.         datas.append(video.a['href'])
    
32.         # 获取观看数/弹幕数/上传时间/阿婆主
    
33.         tags = video.select("div[class='tags'] > span")
    
34.         for tag in tags:
    
35.             datas.append(''.join(tag.text.split()))
    
36. 
    
37.     return datas
    
38. 
    
39. 
    
40. def grouped(iterable, n):
    
41.     "将列表切成n片一组"
    
42.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
    
43.     return zip(*[iter(iterable)]*n)
    
44. 
    
45. 
    
46. def main():
    
47.     keyword, pages = get_input()
    
48.     order = ['totalrank', 'click', 'dm', 'stow']
    
49.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']
    
50.    
    
51.     # 迭代每种排序
    
52.     for i in range(4):
    
53.         index = 1
    
54.         # 迭代每一页
    
55.         for page in range(1, pages+1):
    
56.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword, order[i], page)
    
57. 
    
58.             text = get_html(url)
    
59.             datas = get_datas(text)
    
60.             # 为每种排序创建一个文本文件单独存放
    
61.             with open(order_name[i]+'.txt', 'a', encoding="utf-8") as file:
    
62.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
    
63.                     file.write(' + '.join([str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
    
64.                     index += 1
    
65.             # 做一只善意的爬虫，不要给服务器带来负担
    
66.             time.sleep(1)
    
67.    
    
68. if __name__ == "__main__":
    
69.     main()

复制代码

问题0.video.select("div[class='tags'] > span")是啥意思？我在B站上找到的div标签是这样的，为啥是>span



问题2.解释一下  datas.append(''.join(tag.text.split()))

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-6-5 21:30:13

jump_p 发表于 2020-6-5 21:29
啊，我只是想问div[class='tags'] > span 这个语句为什么这样写，因为 div[class='tags'] 的意思不是取di ...

噢，抱歉，我理解错你意思了...我以为你说的是审查元素里面的
代表取div的子标签span

跳转到最佳答案楼层

qiuyouzhi

span里面的代码被压缩了，你点开那个三角形，里面还有HTML代码

jump_p

qiuyouzhi 发表于 2020-6-5 21:15
span里面的代码被压缩了，你点开那个三角形，里面还有HTML代码

展开后是这样的，但为什么是>span

qiuyouzhi

jump_p 发表于 2020-6-5 21:19

你发文件链接干啥

jump_p

qiuyouzhi 发表于 2020-6-5 21:20
你发文件链接干啥

发错了，看楼上

qiuyouzhi

jump_p 发表于 2020-6-5 21:19
展开后是这样的，但为什么是>span

本来就是啊.....
浏览器方便你查看的，把下面的代码压缩起来了

jump_p

qiuyouzhi 发表于 2020-6-5 21:24
本来就是啊.....
浏览器方便你查看的，把下面的代码压缩起来了

啊，我只是想问div[class='tags'] > span 这个语句为什么这样写，因为 div[class='tags'] 的意思不是取div的key为[class='tags']的值吗，这里又不是正则表达式，为什么有个大于号在这

qiuyouzhi

jump_p 发表于 2020-6-5 21:29
啊，我只是想问div[class='tags'] > span 这个语句为什么这样写，因为 div[class='tags'] 的意思不是取di ...

噢，抱歉，我理解错你意思了...我以为你说的是审查元素里面的
代表取div的子标签span

jump_p

qiuyouzhi 发表于 2020-6-5 21:30
噢，抱歉，我理解错你意思了...我以为你说的是审查元素里面的
代表取div的子标签span

所以这个>并不是大于号的意思，而是类似于箭头含义？就是由div指向它包含的所有span?

qiuyouzhi

jump_p 发表于 2020-6-5 21:33
所以这个>并不是大于号的意思，而是类似于箭头含义？就是由div指向它包含的所有span?

可以这么理解，但应该是第一个，而不是所有span。

jump_p

qiuyouzhi 发表于 2020-6-5 21:34
可以这么理解，但应该是第一个，而不是所有span。

那就说不通了，你看我的截图，里面有很多span，并且 下面用了 for tag in tags ，所以应该指向所有span

qiuyouzhi

jump_p 发表于 2020-6-5 21:36
那就说不通了，你看我的截图，里面有很多span，并且 下面用了 for tag in tags ，所以应该指向所有span

噢，看到了，那就是所有span，我没太用过bs4，通常喜欢用XPath

jump_p

jump_p 发表于 2020-6-5 21:36
那就说不通了，你看我的截图，里面有很多span，并且 下面用了 for tag in tags ，所以应该指向所有span

哦哦，你提醒了我，应该是bs4的语法，我也是只会用xpath