ky0210_ 发表于 2020-7-23 05:50:57

关于爬虫得到返回空值的问题

想对网站https://webench.ti.com/power-designer/switching-regulator/customize/269 进行爬虫呢，得到电路的性能指标值。
下面是代码，但是返回了空值，不知道怎么修改呢。麻烦大神们帮帮忙{:5_105:}
import requests
from bs4 import BeautifulSoup

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
    'Referer': 'https://webench.ti.com/power-designer/switching-regulator/customize/269'   
}

url = "https://webench.ti.com/power-designer/switching-regulator/customize/269"
r = requests.get (url , headers= headers )

soup = BeautifulSoup(r.text, "html.parser")
items =soup.find_all("mat-table", class_= 'mat-table')
print(items)

zltzlt 发表于 2020-7-23 06:53:05

我打开你要爬取的网址提示我登录，所以原因可能是，你的爬虫没有登录网站，导致进入了另外一个页面。

在 headers 中设置一下 Cookie 试试

yanghongchen666 发表于 2020-7-23 08:17:47

两种可能一种是cookie设置，第二种可能正则有点问题看看正则有没有问题这里是测试网站https://tool.oschina.net/regex#

老兵hb 发表于 2020-7-23 12:30:46

先登录，headers里面加上cookie

xiaosi4081 发表于 2020-7-23 14:02:42

你先登陆，登录后访问一下你要爬取的页面，右键点击，选择审查元素（检查），在刷新一下页面，找到network，再点击doc，然后选择第一个结果，找到cookie，加在headers里

陈尚涵 发表于 2020-7-24 14:30:39

你使用Cookie，这样就更直接了，不然这登录到的又是另外一个网页
页: [1]
查看完整版本: 关于爬虫得到返回空值的问题