使用selenium抓取网页数据问题
我用selenium中的XPATH获取文本信息为什么会报错呢?from selenium import webdriver
from selenium.webdriver.common.by import By
import time
web = webdriver.Edge()
web.get("https://spa2.scrape.center/")
abc = web.find_element(By.XPATH,"//*[@id='index']/div/div/div/div/div/div/a/h2").text
print(abc)
time.sleep(10) 问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。
在你的代码中，你使用的XPATH表达式是"//*[@id='index']/div/div/div/div/div/div/a/h2"，这个表达式的意思是从根节点开始，按照一定的路径定位到目标元素。但是，如果页面的结构发生变化，或者你所使用的浏览器驱动与页面不兼容，那么这个路径就会失效。
为了解决这个问题，你可以尝试以下几种方法：
1. 使用更简洁的XPATH表达式：根据你的代码和页面结构，可以简化XPATH表达式为"//a/h2"。这样做的好处是，不依赖于具体的页面结构，而是直接定位到目标元素，减少了路径的依赖性。
2. 使用其他定位方式：除了XPATH，Selenium还提供了其他的定位方式，比如通过id、class、name等属性进行定位。你可以尝试使用其他定位方式来获取文本信息，例如通过id定位：web.find_element(By.ID, "目标元素的id")。
3. 等待页面加载完全：有时候，页面加载需要一定的时间，如果你的代码在页面加载完成之前就尝试获取元素，就会报错。你可以使用Selenium提供的等待机制来等待页面加载完成，例如使用 WebDriverWait 类进行显式等待。
综上所述，你可以尝试简化XPATH表达式、使用其他定位方式或者等待页面加载完全来解决你的问题。 isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。
在你的代码中，你使用的XPATH ...
我用的是Edge浏览器右键复制了一下XPATH路径的。 isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。
在你的代码中，你使用的XPATH ...
我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行 python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行
因为你还没有等元素加载出来，你可以加个等待：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
web = webdriver.Edge()
web.get("https://spa2.scrape.center/")
wait = WebDriverWait(web, 10)
abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div/div/div/div/div/div/a/h2"))).text
print(abc)
web.quit() isdkz 发表于 2023-8-30 18:00
因为你还没有等元素加载出来，你可以加个等待：
好的 这次我在web.get("https://spa2.scrape.center/")下一行加了个time.sleep(10)数据就加载出来了，非常感谢。
页:
[1]