[已解决]利用selenium异步爬取的问题

代码小白liu

1. from selenium import webdriver
   
2. import time
   
3. def main():
   
4.     b=webdriver.Chrome()
   
5.     b.get('http://www.baidu.com')
   
6.     time.sleep(5)
   
7.     b.quit()
   
8. if __name__ == '__main__':
   
9.     main()

复制代码

上边这段代码运行是可以的

1. from selenium import webdriver
   
2. import time
   
3. 
   
4. def getHtml():
   
5.     url = "http://www.loveshang.com/"
   
6.     # chromedrive = r"C:\Program Files (x86)\Google\Chrome\Application"
   
7.     browser = webdriver.Chrome()
   
8.     browser.get(url)
   
9.     for num in range(3):  # 加载更多（点击事件）
   
10.         #<a href="javascript:;" id="more" class="news_more tc">加载更多</a>
    
11.         browser.find_element_by_class_name("news_more tc").click()
    
12. 
    
13.         time.sleep(3)
    
14.     html = browser.page_source  # 获取网页源代码
    
15.     print(html)
    
16. 
    
17. if __name__ == '__main__':
    
18.     getHtml()

复制代码

这段代码允许就会报错：
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".news_more tc"}
  (Session info: chrome=90.0.4430.212


我自己百度下说是chormdriver和chorm版本不一致 ，但是我的浏览器版本找不到一模一样版本的chormdriver
目前chorm版本：90.0.4430.212   chormdriver版本：90.0.4430.24/  

应该怎么解决那

最佳答案

月排行榜 / 总排行榜

南归

2021-5-20 10:15:06

如果class里面有空格,是指有两个class名,news_more和tc

跳转到最佳答案楼层

南归

这个应该是选择器出错了,不是webdriver版本的问题
因为你第一个代码能成功运行

代码小白liu

南归 发表于 2021-5-19 20:48
这个应该是选择器出错了,不是webdriver版本的问题
因为你第一个代码能成功运行

那应该如何解决那

YunGuo

选择器写错了，去掉 ' tc '

1. browser.find_element_by_class_name("news_more").click()

复制代码

南归

如果class里面有空格,是指有两个class名,news_more和tc