[已解决]selenium访问页面被自动刷新了怎么办

937135952

StaleElementReferenceException: stale element reference: element is not attached to the page document
  (Session info: headless chrome=81.0.4044.138)
  (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 10.0.18362 x86_64)

我觉得应该是页面被自动刷新了才会报这个错。但是我把东西都爬下来存列表里了，为什么还会报这个错，想不明白

1. global liebiao
   
2.     chrome_options = Options()
   
3.     #后面的两个是固定写法 必须这么写
   
4.     chrome_options.add_argument('--headless')
   
5.     chrome_options.add_argument('--disable-gpu')
   
6.     #驱动路径 谷歌的驱动存放路径
   
7.     path = r'C:\Users\Administrator\Desktop\chromedriver.exe'
   
8.     #创建浏览器对象
   
9.     browser = webdriver.Chrome(executable_path=path,chrome_options=chrome_options)
   
10.     url ='http://roll.caijing.com.cn/'
    
11.     browser.get(url)
    
12.     time.sleep(1)
    
13. 
    
14.    
    
15.     news_url = browser.find_elements_by_xpath("//ul[contains(@class,'ntb')]/li/a")#此处已经把所有链接存放在news_url这个列表里了，为什么页面刷新后还会报错？
    
16.    
    
17.     for i in news_url:
    
18.         real = i.get_attribute('href')#这里可以执行，执行到一半就会爆出上面那个错误
    
19. 
    
20.    
    
21.         print(real)
    
22.         
    
23.         #_________________________________
    
24.         headers = {
    
25.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    
26.         'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
27.         'Accept-Language':'en-US,en;q=0.5',
    
28.         'Accept-Encoding':'gzip',
    
29.         'DNT':'1',
    
30.         'Connection':'close'
    
31.         }
    
32.    
    
33.         try:
    
34.         
    
35.             r = requests.get(real, headers=headers)
    
36.             r.encoding = 'utf-8'
    
37.             html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
    
38.             result = html.xpath('//div[contains(@id,"the_content")]/p/text()')#('//div[@id="mainNewsContent"]/p/text()')
    
39.         
    
40.             if len(result):
    
41.                 print("有内容")
    
42.             else:
    
43.                 result = html.xpath('//div[contains(@class,"article-content")]/p/text()')
    
44.         
    
45.         #处理文本   
    
46.             result = str(result)
    
47.             result2 = result.replace('\\u3000','')
    
48.             print(result2)        
    
49. 
    
50.         except:
    
51.             print("访问失败")
    
52.    
    
53.     browser.quit()

复制代码

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-25 20:54:50

937135952 发表于 2020-8-25 20:41
用selenium先把这个打勾点掉吗

对

跳转到最佳答案楼层

1q23w31

网页上有这个东西，楼主处理了吗

937135952

1q23w31 发表于 2020-8-25 07:28
网页上有这个东西，楼主处理了吗

用selenium先把这个打勾点掉吗

1q23w31

937135952 发表于 2020-8-25 20:41
用selenium先把这个打勾点掉吗

对