selenium爬取职位

哈岁NB

请问各位大佬们，我这个代码错在哪了，怎么爬了些这东西

1. import time
   
2. from selenium import webdriver
   
3. from selenium.webdriver.common.by import By
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. from selenium.webdriver.support.wait import WebDriverWait
   
6. from selenium.common.exceptions import TimeoutException
   
7. import logging
   
8. 
   
9. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
   
10. index_page = 3
    
11. time_out = 10
    
12. index_url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
    
13. 
    
14. #初始化浏览器
    
15. path = 'D:/技能/chromedriver.exe'
    
16. brower = webdriver.Chrome(executable_path=path)
    
17. #显示等待
    
18. wait = WebDriverWait(brower,time_out)
    
19. 
    
20. #发起请求
    
21. def scrape_url(url,condition,locator):
    
22.     logging.info(f'正在爬取{url}')
    
23.     try:
    
24.         brower.get(url)
    
25.         wait.until(condition(locator))
    
26.     except TimeoutException:
    
27.         logging.error('error occurred while scraping {}'.format(url),exc_info=True)
    
28. 
    
29. 
    
30. #加载列表页
    
31. def scrape_page():
    
32.     while True:
    
33.         scrape_url(index_url,condition=EC.presence_of_element_located,locator=(By.XPATH, "//div[@class='pager_container']/span[last()]"))
    
34.         html = brower.page_source
    
35.         wait.until(EC.presence_of_element_located((By.XPATH, "//div[@class='pager_container']/span[last()]")))
    
36.         print(html)
    
37.         next_button = brower.find_element(By.XPATH,"//div[@class='pager_container']/span[last()]")
    
38.         if 'pager_next_disabled' in next_button.get_attribute('class'):
    
39.             brower.close()
    
40.             break
    
41.         else:
    
42.             next_button.click()
    
43. 
    
44.     time.sleep(1)
    
45. 
    
46. def main():
    
47.     scrape_page()
    
48. 
    
49. if __name__ == '__main__':
    
50.     main()

复制代码

而且爬到后面海报错了

陶远航

根据你提供的代码，可能有以下几个问题导致爬取出错：

1. 需要等待页面加载完成再进行操作：在加载列表页时，需要等待页面加载完成后再进行操作，以确保页面元素已经完全加载出来。你可以使用 WebDriverWait 来等待元素的出现或可点击状态。在你的代码中，可以将 html = brower.page_source 移到 wait.until() 的后面。

2. 等待条件不准确：代码中使用了等待条件 EC.presence_of_element_located((By.XPATH, "//div[@class='pager_container']/span[last()]"))，即等待最后一个分页按钮出现。但是在拉勾网的分页结构中，并不是最后一个按钮就代表没有下一页了，还需判断该按钮的类名是否包含 'pager_next_disabled'，才能确定是否到达了最后一页。你可以修改判断语句为 if 'pager_next_disabled' in next_button.get_attribute('class'):。

3. 浏览器关闭位置错误：在列表页爬取循环中，当判断到已到达最后一页并准备结束时，应在 if 分支内使用 brower.close() 关闭浏览器。在你的代码中，将 brower.close() 放在了 while True 循环外，导致浏览器无法正常关闭。

修正后的代码示例：

1. import time
2. import logging
3. from selenium import webdriver
4. from selenium.webdriver.common.by import By
5. from selenium.webdriver.support import expected_conditions as EC
6. from selenium.webdriver.support.wait import WebDriverWait
7. from selenium.common.exceptions import TimeoutException
9. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
11. index_page = 3
12. time_out = 10
13. index_url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
15. # 初始化浏览器
16. path = 'D:/技能/chromedriver.exe'
17. browser = webdriver.Chrome(executable_path=path)
19. # 显示等待
20. wait = WebDriverWait(browser, time_out)
23. # 发起请求
24. def scrape_url(url, condition, locator):
25.     logging.info(f'正在爬取{url}')
26.     try:
27.         browser.get(url)
28.         wait.until(condition(locator))
29.     except TimeoutException:
30.         logging.error('error occurred while scraping {}'.format(url), exc_info=True)
33. # 加载列表页
34. def scrape_page():
35.     while True:
36.         scrape_url(index_url, condition=EC.presence_of_element_located,
37.                    locator=(By.XPATH, "//div[@class='pager_container']/span[last()]"))
39.         html = browser.page_source
40.         print(html)
42.         next_button = browser.find_element(By.XPATH, "//div[@class='pager_container']/span[last()]")
43.         if 'pager_next_disabled' in next_button.get_attribute('class'):
44.             browser.close()
45.             break
46.         else:
47.             next_button.click()
48.             time.sleep(1)
51. def main():
52.     scrape_page()
55. if __name__ == '__main__':
56.     main()

复制代码

希望能帮到你！如果问题仍然存在，请提供更详细的错误信息以便进行进一步排查。

哈岁NB

陶远航 发表于 2023-7-18 12:42
根据你提供的代码，可能有以下几个问题导致爬取出错：

1. 需要等待页面加载完成再进行操作：在加载列表页 ...

请问最开始爬到的这些是什么呀

陶远航

哈岁NB 发表于 2023-7-18 15:47
请问最开始爬到的这些是什么呀

我也不知道，给你叫个网络大神@isdkz