[已解决]使用selenium抓取网页数据问题

python小小白哟

我用selenium中的XPATH获取文本信息为什么会报错呢?

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. import time
   
4. 
   
5. web = webdriver.Edge()
   
6. web.get("https://spa2.scrape.center/")
   
7. abc = web.find_element(By.XPATH,"//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2").text
   
8. print(abc)
   
9. 
   
10. time.sleep(10)

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-8-30 18:00:50

python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行

因为你还没有等元素加载出来，你可以加个等待：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support.ui import WebDriverWait
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. 
   
6. web = webdriver.Edge()
   
7. web.get("https://spa2.scrape.center/")
   
8. 
   
9. wait = WebDriverWait(web, 10)
   
10. abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"))).text
    
11. print(abc)
    
12. 
    
13. web.quit()

复制代码

跳转到最佳答案楼层

isdkz

问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。

在你的代码中，你使用的XPATH表达式是"//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"，这个表达式的意思是从根节点开始，按照一定的路径定位到目标元素。但是，如果页面的结构发生变化，或者你所使用的浏览器驱动与页面不兼容，那么这个路径就会失效。

为了解决这个问题，你可以尝试以下几种方法：

1. 使用更简洁的XPATH表达式：根据你的代码和页面结构，可以简化XPATH表达式为"//a/h2"。这样做的好处是，不依赖于具体的页面结构，而是直接定位到目标元素，减少了路径的依赖性。

2. 使用其他定位方式：除了XPATH，Selenium还提供了其他的定位方式，比如通过id、class、name等属性进行定位。你可以尝试使用其他定位方式来获取文本信息，例如通过id定位：web.find_element(By.ID, "目标元素的id")。

3. 等待页面加载完全：有时候，页面加载需要一定的时间，如果你的代码在页面加载完成之前就尝试获取元素，就会报错。你可以使用Selenium提供的等待机制来等待页面加载完成，例如使用 WebDriverWait 类进行显式等待。

综上所述，你可以尝试简化XPATH表达式、使用其他定位方式或者等待页面加载完全来解决你的问题。

python小小白哟

isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。

在你的代码中，你使用的XPATH ...

我用的是Edge浏览器右键复制了一下XPATH路径的。

python小小白哟

isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。

在你的代码中，你使用的XPATH ...

我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行

isdkz

python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行

因为你还没有等元素加载出来，你可以加个等待：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support.ui import WebDriverWait
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. 
   
6. web = webdriver.Edge()
   
7. web.get("https://spa2.scrape.center/")
   
8. 
   
9. wait = WebDriverWait(web, 10)
   
10. abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"))).text
    
11. print(abc)
    
12. 
    
13. web.quit()

复制代码

python小小白哟

isdkz 发表于 2023-8-30 18:00
因为你还没有等元素加载出来，你可以加个等待：

好的 这次我在web.get("https://spa2.scrape.center/")下一行加了个time.sleep(10)数据就加载出来了，非常感谢。