找出B站最受欢迎的编程代码

dejavuaHK

想请教一下：我正在跟着小甲鱼的找出B站最受欢迎的编程课程的代码学习（https://fishc.com.cn/thread-140044-1-1.html）。但是应该B站修改了代码，所以原先的代码需要调整。但是我还是没有倒腾出来。requests库可以去到数据，但是BS4貌似无法输出任何文本。谢谢。

1. import requests
   
2. import bs4
   
3. 
   
4. url = "https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&spm_id_from=333.1007"
   
5. res = requests.get(url=url)
   
6. print(res.status_code)
   
7. # print(res)
   
8. # print(res.text)
   
9. # with open('bilibili.txt', 'w', encoding='utf-8') as file:
   
10. #     file.write(res.text)
    
11. #     file.close()
    
12. 
    
13. soup = bs4.BeautifulSoup(res.text, "html.parser")
    
14. # titles = soup.find_all("div", class_="video-list-item col_3 col_xs_1_5 col_md_2 col_xl_1_7")
    
15. titles = soup.find_all("div", class_="bili-video-card__info--right")
    
16. for each in titles:
    
17.     print(each.a.h3.text)

复制代码

在B站的截图为：

suchocolate

网页=html框架+javascript行为+css样貌。浏览器会运行javascript和css对网元进行渲染，requests默认不会，因此浏览器看到的源代码比原始的html就有了变化，你在浏览器上能看到，但html里没有：

1. import requests
   
2. 
   
3. url = "https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&spm_id_from=333.1007"
   
4. headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'}
   
5. r = requests.get(url=url, headers=headers)
   
6. with open('r.txt', 'w') as f:  # 把这个网页html保存会发现没有你要的数据，直接打开文件搜“2万多”
   
7.     f.write(r.text)

复制代码

然后实际的数据是在ajax里：


至于什么是ajax你百度吧，网上很多教程。

1. import requests
   
2. 
   
3. ajax_url = 'https://api.bilibili.com/x/web-interface/search/all/v2?__refresh__=true&_extra=&context=&page=1&page_size=42' \
   
4.        '&order=&duration=&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=%E7%BC%96' \
   
5.        '%E7%A8%8B&preload=true&com2co=true'
   
6. r = requests.get(url=ajax_url, headers=headers)
   
7. print(r.json()['data']['result'][10]['data'][0])

复制代码

不二如是

suchocolate 发表于 2022-7-19 19:06
网页=html框架+javascript行为+css样貌。浏览器会运行javascript和css对网元进行渲染，requests默认不会， ...