关于爬虫得到返回空值的问题

ky0210_

想对网站https://webench.ti.com/power-des ... lator/customize/269 进行爬虫呢，得到电路的性能指标值。
下面是代码，但是返回了空值，不知道怎么修改呢。麻烦大神们帮帮忙

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
   
6.     'Referer': 'https://webench.ti.com/power-designer/switching-regulator/customize/269'   
   
7. }
   
8. 
   
9. url = "https://webench.ti.com/power-designer/switching-regulator/customize/269"
   
10. r = requests.get (url , headers= headers )
    
11. 
    
12. soup = BeautifulSoup(r.text, "html.parser")
    
13. items =soup.find_all("mat-table", class_= 'mat-table')
    
14. print(items)

复制代码

zltzlt

我打开你要爬取的网址提示我登录，所以原因可能是，你的爬虫没有登录网站，导致进入了另外一个页面。

在 headers 中设置一下 Cookie 试试

yanghongchen666

两种可能一种是cookie设置，第二种可能正则有点问题看看正则有没有问题这里是测试网站https://tool.oschina.net/regex#

老兵hb

先登录，headers里面加上cookie

xiaosi4081

你先登陆，登录后访问一下你要爬取的页面，右键点击，选择审查元素（检查），在刷新一下页面，找到network，再点击doc，然后选择第一个结果，找到cookie，加在headers里

陈尚涵

你使用Cookie，这样就更直接了，不然这登录到的又是另外一个网页