[已解决]selenium爬取源码

哈岁NB

1. from selenium import webdriver
   
2. from time import sleep
   
3. 
   
4. from selenium.webdriver.common.by import By
   
5. from lxml import html
   
6. etree = html.etree
   
7. 
   
8. 
   
9. #创建浏览器对象
   
10. bro = webdriver.Chrome(r'D:/技能/chromedriver.exe')
    
11. 
    
12. bro.get('https://xiaoyuan.zhaopin.com/')
    
13. 
    
14. sleep(2)
    
15. bro.find_element(By.XPATH,'//*[@id="root"]/div/div[1]/div/div[1]/div[2]/a[1]').click()
    
16. sleep(5)
    
17. bro.find_element(By.XPATH,'//*[@id="root"]/div[2]/div/div/div[3]/span[2]').click()
    
18. sleep(2)
    
19. s = bro.find_element(By.XPATH,'//*[@id="search_input_one"]').send_keys('java')
    
20. sleep(1)
    
21. d = bro.find_element(By.XPATH,'//*[@id="root"]/div/div[2]/div/div/div[2]/div/span[2]').click()
    
22. sleep(1)
    
23. reponse = bro.page_source
    
24. print(reponse)
    
25. 
    
26. 
    
27. bro.quit()

复制代码

大佬们，这个扫码登录后为啥爬取不到页面源码呀

最佳答案

月排行榜 / 总排行榜

isdkz

2023-2-6 11:27:29

哈岁NB 发表于 2023-2-6 10:54
selenium不是可以直接爬取动态数据吗？

selenium 确实可以获取到渲染后的源码，我刚刚研究了一下发现智联招聘在搜索后打开了新的窗口，要切换一下窗口才可以

对你的代码修改如下：

1. from selenium import webdriver
   
2. from time import sleep
   
3. 
   
4. from selenium.webdriver.common.by import By
   
5. from lxml import html
   
6. etree = html.etree
   
7. 
   
8. 
   
9. #创建浏览器对象
   
10. bro = webdriver.Chrome(r'D:/技能/chromedriver.exe')
    
11. 
    
12. bro.get('https://xiaoyuan.zhaopin.com/')
    
13. 
    
14. sleep(2)
    
15. bro.find_element(By.XPATH,'//*[@id="root"]/div/div[1]/div/div[1]/div[2]/a[1]').click()
    
16. sleep(5)
    
17. bro.find_element(By.XPATH,'//*[@id="root"]/div[2]/div/div/div[3]/span[2]').click()
    
18. sleep(2)
    
19. s = bro.find_element(By.XPATH,'//*[@id="search_input_one"]').send_keys('java')
    
20. sleep(1)
    
21. d = bro.find_element(By.XPATH,'//*[@id="root"]/div/div[2]/div/div/div[2]/div/span[2]').click()
    
22. sleep(1)
    
23. bro.switch_to.window(bro.window_handles[-1])                            # 加这一行切换窗口
    
24. reponse = bro.page_source
    
25. print(reponse)
    
26. print('Java工程师-苏州' in reponse)
    
27. 
    
28. bro.quit()

复制代码

跳转到最佳答案楼层

isdkz

代码我测试了没有问题，你自己先走一遍流程嘛

在微信扫码登录后有一个绑定手机号的过程，问题就出在这，可能第一次登录需要绑定手机号

哈岁NB

isdkz 发表于 2023-2-5 17:25
代码我测试了没有问题，你自己先走一遍流程嘛

在微信扫码登录后有一个绑定手机号的过程，问题就出在这， ...

好的，我试试

哈岁NB

isdkz 发表于 2023-2-5 17:25
代码我测试了没有问题，你自己先走一遍流程嘛

在微信扫码登录后有一个绑定手机号的过程，问题就出在这， ...

我想问一下，为什么最后爬到的源码是首页的源码，而不是输入搜索java之后的源码呢

isdkz

哈岁NB 发表于 2023-2-6 10:31
我想问一下，为什么最后爬到的源码是首页的源码，而不是输入搜索java之后的源码呢

因为职位信息并不在源码里面，他是通过 ajax 动态渲染上去的，


他的数据在这个请求里面：

哈岁NB

isdkz 发表于 2023-2-6 10:52
因为职位信息并不在源码里面，他是通过 ajax 动态渲染上去的，

selenium不是可以直接爬取动态数据吗？

isdkz

哈岁NB 发表于 2023-2-6 10:54
selenium不是可以直接爬取动态数据吗？

selenium 确实可以获取到渲染后的源码，我刚刚研究了一下发现智联招聘在搜索后打开了新的窗口，要切换一下窗口才可以

对你的代码修改如下：

1. from selenium import webdriver
   
2. from time import sleep
   
3. 
   
4. from selenium.webdriver.common.by import By
   
5. from lxml import html
   
6. etree = html.etree
   
7. 
   
8. 
   
9. #创建浏览器对象
   
10. bro = webdriver.Chrome(r'D:/技能/chromedriver.exe')
    
11. 
    
12. bro.get('https://xiaoyuan.zhaopin.com/')
    
13. 
    
14. sleep(2)
    
15. bro.find_element(By.XPATH,'//*[@id="root"]/div/div[1]/div/div[1]/div[2]/a[1]').click()
    
16. sleep(5)
    
17. bro.find_element(By.XPATH,'//*[@id="root"]/div[2]/div/div/div[3]/span[2]').click()
    
18. sleep(2)
    
19. s = bro.find_element(By.XPATH,'//*[@id="search_input_one"]').send_keys('java')
    
20. sleep(1)
    
21. d = bro.find_element(By.XPATH,'//*[@id="root"]/div/div[2]/div/div/div[2]/div/span[2]').click()
    
22. sleep(1)
    
23. bro.switch_to.window(bro.window_handles[-1])                            # 加这一行切换窗口
    
24. reponse = bro.page_source
    
25. print(reponse)
    
26. print('Java工程师-苏州' in reponse)
    
27. 
    
28. bro.quit()

复制代码

哈岁NB

isdkz 发表于 2023-2-6 11:27
selenium 确实可以获取到渲染后的源码，我刚刚研究了一下发现智联招聘在搜索后打开了新的窗口，要切换一 ...

好的好的，非常感谢