B站爬虫和页面对不上？

麻麦皮

爬虫最多播放稳定，和页面显示一模一样。

爬虫综合排序就变了，前几个和爬的内容一样，后面的爬虫内容和页面完全对不上。我以为综合排序的页面变了，刷新了页面结果还是原来的页面内容。

有没有大佬解释一下是什么情况？

老八秘制

B站也不是完全不反爬的，而且审查元素看到的不一定就是爬下来的

suchocolate

headers尽量模仿真实浏览器请求时的headers，不知道如何模仿：【浏览器f12】-【网络】-【上想访问的网站】

会计的会怎么念

- B站没有什么发爬虫
- 多半是你html解析有问题
- 上面两个人我就不具体反驳了，这是我刚发的帖子，就是说的这些问题
- 这是我学习bs4时写的爬B站搜索页面的代码，就这么几行，就能正确获取信息，
- 实际上我从学过之后根本没用过bs4，我全部都是lxml结合xpath

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def get_html(url):
   
6.     headers = {
   
7.                 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0'
   
8.             }
   
9.     response = requests.get(url=url, headers=headers)
   
10.     if response.status_code != requests.codes.ok:
    
11.         print("Request Filed")
    
12.     else:
    
13.         print("OK")
    
14.         return response.text
    
15. 
    
16. def extract_title(html):
    
17.     soup = BeautifulSoup(html, 'lxml')
    
18.     with open('bili_title.txt', 'a') as file:
    
19.         for each in soup.find_all(class_='info'):
    
20.             title = each.find(class_='headline clearfix').find(name='a')['title']
    
21.             try:
    
22.                 file.write(title + '\n')
    
23.             except UnicodeEncodeError:
    
24.                 continue
    
25.             print(title)
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     for i in range(1, 51):
    
30.         url = "https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&from_source=banner_search&order=click&duration=0&tids_1=0&page=" + str(i)
    
31.         html = get_html(url)
    
32.         extract_title(html)

复制代码

- 加油！