鱼C论坛

 找回密码
 立即注册
查看: 1933|回复: 5

[已解决]使用selenium抓取网页数据问题

[复制链接]
发表于 2023-8-30 17:51:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
我用selenium中的XPATH获取文本信息为什么会报错呢?
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

web = webdriver.Edge()
web.get("https://spa2.scrape.center/")
abc = web.find_element(By.XPATH,"//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2").text
print(abc)

time.sleep(10)
最佳答案
2023-8-30 18:00:50
python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME,填入了CLASS属性m-b-sm也不行

因为你还没有等元素加载出来,你可以加个等待:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

web = webdriver.Edge()
web.get("https://spa2.scrape.center/")

wait = WebDriverWait(web, 10)
abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"))).text
print(abc)

web.quit()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2023-8-30 17:52:00 | 显示全部楼层
问题的原因是XPATH表达式中的路径定位不准确,导致找不到元素,进而报错。

在你的代码中,你使用的XPATH表达式是"//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2",这个表达式的意思是从根节点开始,按照一定的路径定位到目标元素。但是,如果页面的结构发生变化,或者你所使用的浏览器驱动与页面不兼容,那么这个路径就会失效。

为了解决这个问题,你可以尝试以下几种方法:

1. 使用更简洁的XPATH表达式:根据你的代码和页面结构,可以简化XPATH表达式为"//a/h2"。这样做的好处是,不依赖于具体的页面结构,而是直接定位到目标元素,减少了路径的依赖性。

2. 使用其他定位方式:除了XPATH,Selenium还提供了其他的定位方式,比如通过id、class、name等属性进行定位。你可以尝试使用其他定位方式来获取文本信息,例如通过id定位:web.find_element(By.ID, "目标元素的id")。

3. 等待页面加载完全:有时候,页面加载需要一定的时间,如果你的代码在页面加载完成之前就尝试获取元素,就会报错。你可以使用Selenium提供的等待机制来等待页面加载完成,例如使用 WebDriverWait 类进行显式等待。

综上所述,你可以尝试简化XPATH表达式、使用其他定位方式或者等待页面加载完全来解决你的问题。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2023-8-30 17:52:54 | 显示全部楼层
isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确,导致找不到元素,进而报错。

在你的代码中,你使用的XPATH ...

我用的是Edge浏览器右键复制了一下XPATH路径的。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2023-8-30 17:54:31 | 显示全部楼层
isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确,导致找不到元素,进而报错。

在你的代码中,你使用的XPATH ...

我用了下By.CLASS_NAME,填入了CLASS属性m-b-sm也不行
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-8-30 18:00:50 | 显示全部楼层    本楼为最佳答案   
python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME,填入了CLASS属性m-b-sm也不行

因为你还没有等元素加载出来,你可以加个等待:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

web = webdriver.Edge()
web.get("https://spa2.scrape.center/")

wait = WebDriverWait(web, 10)
abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"))).text
print(abc)

web.quit()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2023-8-30 18:06:11 | 显示全部楼层
isdkz 发表于 2023-8-30 18:00
因为你还没有等元素加载出来,你可以加个等待:

好的 这次我在web.get("https://spa2.scrape.center/")下一行加了个time.sleep(10)数据就加载出来了,非常感谢。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-24 21:28

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表