Beautiful内容匹配求助

小甲鱼的铁粉

想提取出来网页的评论区的整个div，但是就算是find_all("div")，没有加任何信息，也找不到任何div，soup输出的内容正常，就是执行过divs = soup.find_all('div')就不对了，麻烦鱼油们帮我看一下

1. 
   
2. import re
   
3. import os
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. def get_div():
   
8.     url = "https://www.mgtv.com/b/350683/11017269.html?fpa=76&fpos=3&lastp=ch_home"
   
9.     headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0"}
   
10.     response = requests.get(url, headers = headers)
    
11. 
    
12.     soup = BeautifulSoup(response.text, 'lxml')
    
13.     #print(soup)
    
14.     divs = soup.find_all('div')
    
15.     print(divs)
    
16. 
    
17. if __name__ == "__main__":
    
18.     get_div()

复制代码

输出

1. <div data-server-rendered="true" id="__nuxt"><!-- --><div id="__layout"><div><noscript>
   
2.     请启用 JavaScript
   
3.   </noscript> <!-- --> <!-- --> <div class="m-video-error-infomessage" style="display:none;"><div class="video-error-infomessage"><h4>您将了解到本次错误原因：</h4><p>错误码：<em></em></p><p>错误详情：<em></em></p><p class="video-error-infomessage-closed"><a href="javascript:;">关闭</a></p></div></div> <!-- --></div></div></div>

复制代码

小甲鱼的铁粉

是不是find_all的时候被反爬了

qq1151985918

因为你爬的是视频的播放地址不是评论地址

小甲鱼的铁粉

qq1151985918 发表于 2021-2-4 10:37
因为你爬的是视频的播放地址不是评论地址

是被js反爬了，网页里面有js反爬