[已解决]BeautifulSoup库find()返回列表为None

Mimitsu

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)\
   
6.          Chrome/76.0.3809.100 Safari/537.36'
   
7. }
   
8. # 这里是想查的CSDN的备案信息
   
9. res = requests.get('https://icp.aizhan.com/www.csdn.net/', headers = headers)
   
10. # 异常处理
    
11. try:
    
12.     # 对返回结果进行解析
    
13.     soup = BeautifulSoup(res.text, 'html.parser')
    
14.     # 通过find_all()获取主办单位名称
    
15.     div = soup.find('div', attrs = {'id':'icp-table'})
    
16.     td_list = div.find_all('td')
    
17.     name_info = td_list[0].text + ":" + td_list[1].text
    
18.     print(name_info)
    
19.     # 通过selector获取备案号
    
20.     icp_no = soup.select('#icp-table > table > tr:nth-of-type(3) > td:nth-of-type(2) > span')[0].get_text()
    
21.     print(icp_no)
    
22. except ConnectionError:
    
23.     print("连接失败")
    
24. 
    

复制代码

我想把网站上的指定信息爬下来，但是报错说div为None，但我检查了一下网页上面的确是有这个元素的，请问是什么原因呢？

最佳答案

月排行榜 / 总排行榜

nahongyan1997

2021-8-14 15:30:29

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)\
   
6.          Chrome/76.0.3809.100 Safari/537.36'
   
7.     "cookie":"将浏览器的cookie替换这里的文字"}
   
8. # 这里是想查的CSDN的备案信息
   
9. res = requests.get('https://icp.aizhan.com/www.csdn.net/', headers = headers)
   
10. # 异常处理
    
11. try:
    
12.     # 对返回结果进行解析
    
13.     soup = BeautifulSoup(res.text, 'html.parser')
    
14.     # 通过find_all()获取主办单位名称
    
15.     div = soup.find('div', attrs = {'id':'icp-table'})
    
16.     td_list = div.find_all('td')
    
17.     name_info = td_list[0].text + ":" + td_list[1].text
    
18.     print(name_info)
    
19.     # 通过selector获取备案号
    
20.     icp_no = soup.select('#icp-table > table > tr:nth-of-type(3) > td:nth-of-type(2) > span')[0].get_text()
    
21.     print(icp_no)
    
22. except ConnectionError:
    
23.     print("连接失败")
    
24. 
    
25. 
    

复制代码

跳转到最佳答案楼层

suchocolate

这个url需要登陆才能出现你要的div。登陆的话可以直接用登陆点击时提交的cookie。

nahongyan1997

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)\
   
6.          Chrome/76.0.3809.100 Safari/537.36'
   
7.     "cookie":"将浏览器的cookie替换这里的文字"}
   
8. # 这里是想查的CSDN的备案信息
   
9. res = requests.get('https://icp.aizhan.com/www.csdn.net/', headers = headers)
   
10. # 异常处理
    
11. try:
    
12.     # 对返回结果进行解析
    
13.     soup = BeautifulSoup(res.text, 'html.parser')
    
14.     # 通过find_all()获取主办单位名称
    
15.     div = soup.find('div', attrs = {'id':'icp-table'})
    
16.     td_list = div.find_all('td')
    
17.     name_info = td_list[0].text + ":" + td_list[1].text
    
18.     print(name_info)
    
19.     # 通过selector获取备案号
    
20.     icp_no = soup.select('#icp-table > table > tr:nth-of-type(3) > td:nth-of-type(2) > span')[0].get_text()
    
21.     print(icp_no)
    
22. except ConnectionError:
    
23.     print("连接失败")
    
24. 
    
25. 
    

复制代码

Mimitsu

suchocolate 发表于 2021-8-14 14:02
这个url需要登陆才能出现你要的div。登陆的话可以直接用登陆点击时提交的cookie。

感谢！

Mimitsu

nahongyan1997 发表于 2021-8-14 15:30

感谢！