[已解决]使用selenium抓取网页数据问题

python小小白哟

我用selenium中的XPATH获取文本信息为什么会报错呢?

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. import time
   
4. 
   
5. web = webdriver.Edge()
   
6. web.get("https://spa2.scrape.center/")
   
7. abc = web.find_element(By.XPATH,"//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2").text
   
8. print(abc)
   
9. 
   
10. time.sleep(10)

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-8-30 18:00:50

python小小白哟 发表于 2023-8-30 17:54
我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行

因为你还没有等元素加载出来，你可以加个等待：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support.ui import WebDriverWait
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. 
   
6. web = webdriver.Edge()
   
7. web.get("https://spa2.scrape.center/")
   
8. 
   
9. wait = WebDriverWait(web, 10)
   
10. abc = wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='index']/div[1]/div[1]/div[1]/div/div/div[2]/a/h2"))).text
    
11. print(abc)
    
12. 
    
13. web.quit()

复制代码

跳转到最佳答案楼层

python小小白哟

isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。

在你的代码中，你使用的XPATH ...

我用的是Edge浏览器右键复制了一下XPATH路径的。

python小小白哟

isdkz 发表于 2023-8-30 17:52
问题的原因是XPATH表达式中的路径定位不准确，导致找不到元素，进而报错。

在你的代码中，你使用的XPATH ...

我用了下By.CLASS_NAME，填入了CLASS属性m-b-sm也不行

python小小白哟

isdkz 发表于 2023-8-30 18:00
因为你还没有等元素加载出来，你可以加个等待：

好的 这次我在web.get("https://spa2.scrape.center/")下一行加了个time.sleep(10)数据就加载出来了，非常感谢。