鱼C论坛

 找回密码
 立即注册
查看: 1734|回复: 4

[已解决]利用selenium异步爬取的问题

[复制链接]
发表于 2021-5-19 20:23:17 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
from selenium import webdriver
import time
def main():
    b=webdriver.Chrome()
    b.get('http://www.baidu.com')
    time.sleep(5)
    b.quit()
if __name__ == '__main__':
    main()
上边这段代码运行是可以的

from selenium import webdriver
import time

def getHtml():
    url = "http://www.loveshang.com/"
    # chromedrive = r"C:\Program Files (x86)\Google\Chrome\Application"
    browser = webdriver.Chrome()
    browser.get(url)
    for num in range(3):  # 加载更多(点击事件)
        #<a href="javascript:;" id="more" class="news_more tc">加载更多</a>
        browser.find_element_by_class_name("news_more tc").click()

        time.sleep(3)
    html = browser.page_source  # 获取网页源代码
    print(html)

if __name__ == '__main__':
    getHtml()
这段代码允许就会报错:
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".news_more tc"}
  (Session info: chrome=90.0.4430.212


我自己百度下说是chormdriver和chorm版本不一致 ,但是我的浏览器版本找不到一模一样版本的chormdriver
目前chorm版本:90.0.4430.212   chormdriver版本:90.0.4430.24/  

应该怎么解决那


最佳答案
2021-5-20 10:15:06
如果class里面有空格,是指有两个class名,news_more和tc
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-5-19 20:48:15 | 显示全部楼层
这个应该是选择器出错了,不是webdriver版本的问题
因为你第一个代码能成功运行
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-5-19 21:12:29 | 显示全部楼层
南归 发表于 2021-5-19 20:48
这个应该是选择器出错了,不是webdriver版本的问题
因为你第一个代码能成功运行

那应该如何解决那
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-5-19 21:50:38 | 显示全部楼层
选择器写错了,去掉 ' tc '
browser.find_element_by_class_name("news_more").click()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-5-20 10:15:06 | 显示全部楼层    本楼为最佳答案   
如果class里面有空格,是指有两个class名,news_more和tc
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-15 21:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表