[已解决]selenium抓取网页出现了问题

zkamsk

用selenium抓取京东商品的时候，在翻页中总会爆出这样的错误，请问大神我该怎么修改？

1. selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
   
2.   (Session info: chrome=54.0.2840.59)
   
3.   (Driver info: chromedriver=2.27.440174 (e97a722caafc2d3a8b807ee115bfb307f7d2cfd9),platform=Windows NT 10.0.14393 x86_64)

复制代码

但是用差不多的代码抓取淘宝就会正常运行
这是翻页的函数，通过输入页数来翻页

1. def next_2_page(page_number):
   
2.     try:
   
3.         input = wait.until(
   
4.             EC.presence_of_element_located((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > input"))
   
5.         )
   
6.         submit = wait.until(
   
7.             EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > a"))
   
8.         )
   
9.         input.clear()
   
10.         input.send_keys(page_number)
    
11.         submit.click()
    
12.         wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.curr'),str(page_number)))
    
13.     except TimeoutException:
    
14.         return next_2_page(page_number)

复制代码

以下是源码

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support.ui import WebDriverWait
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. from selenium.common.exceptions import TimeoutException
   
6. 
   
7. browser=webdriver.Chrome()
   
8. wait=WebDriverWait(browser, 10)
   
9. def search():
   
10.     browser.get('https://www.jd.com/')
    
11.     try:
    
12.         input = wait.until(
    
13.             EC.presence_of_element_located((By.CSS_SELECTOR, "#key"))
    
14.         )
    
15.         submit=wait.until(
    
16.             EC.element_to_be_clickable((By.CSS_SELECTOR, "#search > div > div.form > button"))
    
17.         )
    
18.         input.send_keys('美食')
    
19.         submit.click()
    
20.         total = wait.until(
    
21.             EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > em:nth-child(1) > b')))
    
22.     except TimeoutException:
    
23.         search()
    
24. 
    
25. def next_page(page_number):
    
26.     next=wait.until(
    
27.         EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_topPage > a.fp-next"))
    
28.         )
    
29.     next.click()
    
30.     wait.until(EC.text_to_be_present_in_element(
    
31.         (By.CSS_SELECTOR, '#J_topPage > span > b'), str(page_number)))
    
32. 
    
33. def next_2_page(page_number):
    
34.     try:
    
35.         input = wait.until(
    
36.             EC.presence_of_element_located((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > input"))
    
37.         )
    
38.         submit = wait.until(
    
39.             EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > a"))
    
40.         )
    
41.         input.clear()
    
42.         input.send_keys(page_number)
    
43.         submit.click()
    
44.         wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.curr'),str(page_number)))
    
45.     except TimeoutException:
    
46.         return next_2_page(page_number)
    
47. def main():
    
48.     search()
    
49.     for each in range(2,5):
    
50.         next_2_page(each)
    
51. 
    
52. 
    
53. if __name__=='__main__':
    
54.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

小锟

2017-8-1 21:19:12

可以的
把等待时间设长一点，错了估计是没加载好
或者你在代码中加一句把页面拉到底部

跳转到最佳答案楼层

小锟

可以的
把等待时间设长一点，错了估计是没加载好
或者你在代码中加一句把页面拉到底部

zkamsk

小锟 发表于 2017-8-1 21:19
可以的
把等待时间设长一点，错了估计是没加载好
或者你在代码中加一句把页面拉到底部

是加载数据问题，非常感谢