拽猫的尾巴 发表于 2020-12-3 09:53:34

BeautifulSoup的find_all后得到一个空值

我想要下图圈出的一串数据



代码如下:
import requests
from bs4 import BeautifulSoup

url = 'https://degree.qingshuxuetang.com/yjzy/Administrator/CourseMgrList'

cookie = 'DeviceToken=e103539e-dfa6-402d-8bd1-66c0768fe8aa; AccessToken=eyJraWQiOiIxMSIsInR5cCI6IkpXVCIsImFsZyI6IkhTMjU2In0.eyJhcHBUeXBlIjoxLCJleHAiOjQ3NTQ5NDE5NTAsImp0aSI6IjQyMjcxNTYifQ.DjFSvn9tAQFBfEoLU51Cg2AsQAnYr9fyJgU8z6yHpdQ; Identity=eNrjCmZhEmFWEpKUk5NlCvbW4gLzLUSDvV2dnd0cXNxjg5nAkiAhJxc3h1iwAmU5WREgPzZYAijsyBOLV5urs6cHsjZnIrU5OXti1aYDEVXlYASKOjhAhOEGyAvIAIWDuRlkWQ05pLk5gmODRSWYGGUFOOwhMjMP3plx6+XU0w+AMoyScvIi6gKyIBNYmVlEYoNZJSWYRRkFmFk5VOB2OMYGC7CyCghJyojIswZ7c/HwAACvADrq; Hm_lvt_f2b468a7f52fe5744c850a442e2dc260=1606092731,1606353863,1606696704,1606956277; Hm_lpvt_f2b468a7f52fe5744c850a442e2dc260=1606956283; JSESSIONID=9931742FD3795C923AB0D83418D74CAE'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400','Cookie' : cookie}

response = requests.get(url,headers = headers)

soup = BeautifulSoup(response.text,'html.parser')

targets = soup.find_all('td')

print(targets)

结果返回一个空值


改成find_all('a')后能返回很多标签,但是没有找到想要的

suchocolate 发表于 2020-12-3 10:08:47

给的url登陆进去之后,会被网站302,转到home url,那里没有你图例的表格和资源。

拽猫的尾巴 发表于 2020-12-3 11:04:03

本帖最后由 拽猫的尾巴 于 2020-12-3 11:22 编辑

suchocolate 发表于 2020-12-3 10:08
给的url登陆进去之后,会被网站302,转到home url,那里没有你图例的表格和资源。

你也可以爬登录这个页面的a,应该是同一种情况吧,打印出来也是空值


拽猫的尾巴 发表于 2020-12-3 11:05:40

suchocolate 发表于 2020-12-3 10:08
给的url登陆进去之后,会被网站302,转到home url,那里没有你图例的表格和资源。

https://www.qingshuxuetang.com/Login?ref=https://degree.qingshuxuetang.com/yjzy/Home

suchocolate 发表于 2020-12-3 11:29:34

本帖最后由 suchocolate 于 2020-12-3 11:36 编辑

拽猫的尾巴 发表于 2020-12-3 11:05
https://www.qingshuxuetang.com/Login?ref=https://degree.qingshuxuetang.com/yjzy/Home

最终的目标是什么,仅仅是获取a的文本吗,这要考虑ajax了。
那个关闭所在的a绑定了js事件,是有js生成的,我估计你不仅仅只要这个,说出你的目标,帮你分析分析。

拽猫的尾巴 发表于 2020-12-3 17:01:24

suchocolate 发表于 2020-12-3 11:29
最终的目标是什么,仅仅是获取a的文本吗,这要考虑ajax了。
那个关闭所在的a绑定了js事件,是有js生成 ...

非常感谢,问题解决了,主要是找不到数据在哪{:10_266:}
知道是ajax就会爬了
我要的所有数据都在这里了



也爬下来了

页: [1]
查看完整版本: BeautifulSoup的find_all后得到一个空值