设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › selenium
返回列表 发新帖
查看: 1813|回复: 2

[已解决]selenium

[复制链接]
哈岁NB
发表于 2023-7-1 16:18:04 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
大佬们，请问一下我这个代码为什么只能爬取第一个电影的详情页呀，爬第二个详情页就报错了
  1. import time
  2. from selenium import webdriver
  3. from selenium.common.exceptions import TimeoutException
  4. from selenium.webdriver.common.by import By
  5. from selenium.webdriver.support import expected_conditions as EC
  6. from selenium.webdriver.support.wait import WebDriverWait
  7. from urllib.parse import urljoin
  8. import logging
  9. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
  10. INDEX_URL = 'https://spa2.scrape.center/page/{}'
  11. TIME_OUT = 10
  12. PAGE = 10
  13. #初始化浏览器对象
  14. path = 'D:/技能/chromedriver.exe'
  15. brower = webdriver.Chrome(executable_path=path)
  16. #显式等待
  17. wait = WebDriverWait(brower,TIME_OUT)

  19. #发起请求
  20. def scrape_page(url,condition,locator):
  21.     logging.info('正在爬取：{}'.format(url))
  22.     try:
  23.         brower.get(url)

  25.         wait.until(condition(locator))#调用wait的until方法，并传入判断条件
  26.     except TimeoutException:
  27.         logging.error('error occurred while scraping {}'.format(url),exc_info=True)

  29. #加载列表页
  30. def scrape_index(page):
  31.     url = INDEX_URL.format(page)
  32.     scrape_page(url,condition=EC.visibility_of_all_elements_located,locator=(By.CSS_SELECTOR,'#index .item'))

  34. #解析列表页
  35. def parse_index():
  36.     elements = brower.find_elements(By.CSS_SELECTOR,'#index .item .name')
  37.     for element in elements:
  38.         #提取属性
  39.         href = element.get_attribute('href')
  40.         yield urljoin(INDEX_URL,href)

  42. #判断详情页是否加载成功
  43. def scrape_detail(url):
  44.     scrape_page(url,condition=EC.visibility_of_element_located,locator=(By.TAG_NAME,'h2'))

  46. #解析详情页
  47. def parse_detail():
  48.     url = brower.current_url#利用current_url获取当前页面的url
  49.     name = brower.find_element(By.TAG_NAME,'h2').text
  50.     categories = [element.text for element in brower.find_elements(By.CSS_SELECTOR,'.categories .category span')]#类别
  51.     cover = brower.find_element(By.CSS_SELECTOR,'.cover').get_attribute('src')#封面
  52.     score = brower.find_element(By.CSS_SELECTOR,'.score').text#分数
  53.     drama = brower.find_element(By.CSS_SELECTOR,'.drama p').text#简介
  54.     return {
  55.         'url':url,
  56.         'name':name,
  57.         'categories':categories,
  58.         'cover':cover,
  59.         'score':score,
  60.         'drama':drama
  61.     }

  63. def main():
  64.     try:
  65.         for page in range(1,PAGE+1):
  66.             scrape_index(page)
  67.             detail_urls = parse_index()
  68.             # logging.info('详情页地址：{}'.format(list(detail_urls)))
  69.             for detail_url in detail_urls:
  70.                 # logging.info('详情页：{}'.format(detail_url))
  71.                 scrape_detail(detail_url)
  72.                 detail_data = parse_detail()
  73.                 logging.info('data %s',detail_data)

  75.     finally:
  76.         brower.close()

  78. if __name__ == '__main__':
  79.     main()
复制代码


报错信息
  1. D:\技能\python\venv\Scripts\python.exe D:\技能\python\课后练习\基础爬虫\selieum练习.py
  2. D:\技能\python\课后练习\基础爬虫\selieum练习.py:15: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  3.   brower = webdriver.Chrome(executable_path=path)
  4. 2023-07-01 16:16:03,515 - INFO: 正在爬取：https://spa2.scrape.center/page/1
  5. 2023-07-01 16:16:04,640 - INFO: 详情页：https://spa2.scrape.center/detail/ZWYzNCN0ZXVxMGJ0dWEjKC01N3cxcTVvNS0takA5OHh5Z2ltbHlmeHMqLSFpLTAtbWIx
  6. 2023-07-01 16:16:04,640 - INFO: 正在爬取：https://spa2.scrape.center/detail/ZWYzNCN0ZXVxMGJ0dWEjKC01N3cxcTVvNS0takA5OHh5Z2ltbHlmeHMqLSFpLTAtbWIx
  7. 2023-07-01 16:16:05,964 - INFO: data {'url': 'https://spa2.scrape.center/detail/ZWYzNCN0ZXVxMGJ0dWEjKC01N3cxcTVvNS0takA5OHh5Z2ltbHlmeHMqLSFpLTAtbWIx', 'name': '霸王别姬 - Farewell My Concubine', 'categories': ['剧情', '爱情'], 'cover': 'https://p0.meituan.net/movie/ce4da3e03e655b5b88ed31b5cd7896cf62472.jpg@464w_644h_1e_1c', 'score': '9.5', 'drama': '影片借一出《霸王别姬》的京戏，牵扯出三个人之间一段随时代风云变幻的爱恨情仇。段小楼（张丰毅 饰）与程蝶衣（张国荣 饰）是一对打小一起长大的师兄弟，两人一个演生，一个饰旦，一向配合天衣无缝，尤其一出《霸王别姬》，更是誉满京城，为此，两人约定合演一辈子《霸王别姬》。但两人对戏剧与人生关系的理解有本质不同，段小楼深知戏非人生，程蝶衣则是人戏不分。段小楼在认为该成家立业之时迎娶了名妓菊仙（巩俐 饰），致使程蝶衣认定菊仙是可耻的第三者，使段小楼做了叛徒，自此，三人围绕一出《霸王别姬》生出的爱恨情仇战开始随着时代风云的变迁不断升级，终酿成悲剧。'}
  8. Traceback (most recent call last):
  9.   File "D:\技能\python\课后练习\基础爬虫\selieum练习.py", line 79, in <module>
  10.     main()
  11.   File "D:\技能\python\课后练习\基础爬虫\selieum练习.py", line 69, in main
  12.     for detail_url in detail_urls:
  13.   File "D:\技能\python\课后练习\基础爬虫\selieum练习.py", line 39, in parse_index
  14.     href = element.get_attribute('href')
  15.   File "D:\技能\python\venv\lib\site-packages\selenium\webdriver\remote\webelement.py", line 177, in get_attribute
  16.     attribute_value = self.parent.execute_script(
  17.   File "D:\技能\python\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 500, in execute_script
  18.     return self.execute(command, {"script": script, "args": converted_args})["value"]
  19.   File "D:\技能\python\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 440, in execute
  20.     self.error_handler.check_response(response)
  21.   File "D:\技能\python\venv\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 245, in check_response
  22.     raise exception_class(message, screen, stacktrace)
  23. selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: stale element not found
  24.   (Session info: chrome=114.0.5735.199)
  25. Stacktrace:
  26. Backtrace:
  27.         GetHandleVerifier [0x0052A813+48355]
  28.         (No symbol) [0x004BC4B1]
  29.         (No symbol) [0x003C5358]
  30.         (No symbol) [0x003CE5A3]
  31.         (No symbol) [0x003C8A78]
  32.         (No symbol) [0x003C8A56]
  33.         (No symbol) [0x003C7C03]
  34.         (No symbol) [0x003CA19B]
  35.         (No symbol) [0x0041D279]
  36.         (No symbol) [0x0040A73C]
  37.         (No symbol) [0x0041C922]
  38.         (No symbol) [0x0040A536]
  39.         (No symbol) [0x003E82DC]
  40.         (No symbol) [0x003E93DD]
  41.         GetHandleVerifier [0x0078AABD+2539405]
  42.         GetHandleVerifier [0x007CA78F+2800735]
  43.         GetHandleVerifier [0x007C456C+2775612]
  44.         GetHandleVerifier [0x005B51E0+616112]
  45.         (No symbol) [0x004C5F8C]
  46.         (No symbol) [0x004C2328]
  47.         (No symbol) [0x004C240B]
  48.         (No symbol) [0x004B4FF7]
  49.         BaseThreadInitThunk [0x7537F989+25]
  50.         RtlGetAppContainerNamedObjectPath [0x77427084+228]
  51.         RtlGetAppContainerNamedObjectPath [0x77427054+180]


  54. Process finished with exit code 1
复制代码
最佳答案
月排行榜 / 总排行榜
isdkz
2023-7-1 16:22:07
你的错误来自 selenium.common.exceptions.StaleElementReferenceException ，这是一个常见的Selenium错误。它意味着你正在尝试使用的web元素（在这种情况下，是你从电影列表中获得的链接）已经从DOM中消失。在Selenium中，一旦页面刷新或更改，之前找到的元素引用就会变得无效或者“过时”。就你的代码来说，当你尝试获取第二个电影详情页的链接时，第一次页面的访问可能已经导致原页面刷新或者更改，所以原本获取的元素已经过时。

为了解决这个问题，我建议你在访问电影详情页后立即返回电影列表页。你可以在 main() 函数中进行一些修改，使得每次完成一个详情页的抓取后都返回列表页，这样在抓取下一个详情页链接时就不会出现元素过时的问题。代码修改如下：

  1. def main():
  2.     try:
  3.         for page in range(1, PAGE+1):
  4.             scrape_index(page)
  5.             detail_urls = list(parse_index())  # 直接将生成器转化为列表，避免在循环过程中页面发生变化
  6.             for detail_url in detail_urls:
  7.                 scrape_detail(detail_url)
  8.                 detail_data = parse_detail()
  9.                 logging.info('data %s', detail_data)
  10.                 scrape_index(page)  # 爬取完每个详情页后，重新加载一次列表页
  11.     finally:
  12.         brower.close()

  14. if __name__ == '__main__':
  15.     main()
复制代码


这样修改后，应该可以解决你的问题。但请注意，这种方法可能会导致更多的网络请求，因为每次爬取详情页之后都会重新加载一次列表页。如果目标网站有请求限制，这可能会导致被封IP的风险增加。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

isdkz
发表于 2023-7-1 16:22:07 | 显示全部楼层    本楼为最佳答案   
你的错误来自 selenium.common.exceptions.StaleElementReferenceException ，这是一个常见的Selenium错误。它意味着你正在尝试使用的web元素（在这种情况下，是你从电影列表中获得的链接）已经从DOM中消失。在Selenium中，一旦页面刷新或更改，之前找到的元素引用就会变得无效或者“过时”。就你的代码来说，当你尝试获取第二个电影详情页的链接时，第一次页面的访问可能已经导致原页面刷新或者更改，所以原本获取的元素已经过时。

为了解决这个问题，我建议你在访问电影详情页后立即返回电影列表页。你可以在 main() 函数中进行一些修改，使得每次完成一个详情页的抓取后都返回列表页，这样在抓取下一个详情页链接时就不会出现元素过时的问题。代码修改如下：

  1. def main():
  2.     try:
  3.         for page in range(1, PAGE+1):
  4.             scrape_index(page)
  5.             detail_urls = list(parse_index())  # 直接将生成器转化为列表，避免在循环过程中页面发生变化
  6.             for detail_url in detail_urls:
  7.                 scrape_detail(detail_url)
  8.                 detail_data = parse_detail()
  9.                 logging.info('data %s', detail_data)
  10.                 scrape_index(page)  # 爬取完每个详情页后，重新加载一次列表页
  11.     finally:
  12.         brower.close()

  14. if __name__ == '__main__':
  15.     main()
复制代码


这样修改后，应该可以解决你的问题。但请注意，这种方法可能会导致更多的网络请求，因为每次爬取详情页之后都会重新加载一次列表页。如果目标网站有请求限制，这可能会导致被封IP的风险增加。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

哈岁NB
 楼主| 发表于 2023-7-1 16:25:36 | 显示全部楼层
isdkz 发表于 2023-7-1 16:22
你的错误来自 selenium.common.exceptions.StaleElementReferenceException ，这是一个常见的Selenium错误 ...

好的，感谢感谢
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-17 14:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表