[已解决]selenium的基础爬取数据问题

江湖散人

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.common.keys import Keys
   
3. import time
   
4. 
   
5. web = Firefox()
   
6. web.get("http://lagou.com")
   
7. web.find_element_by_xpath('//*[@id="cboxClose"]').click()
   
8. time.sleep(1)
   
9. web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
   
10. time.sleep(1)
    
11. content = web.find_elements_by_xpath('/html/body/div[6]/div[3]/div[1]/div[3]/ul/li')
    
12. print(content)

复制代码

这是一个爬取拉勾网上python求职岗位的程序。
但是运行出来后，爬取的数据竟然为空。
一时没找到问题在哪，哪位前辈帮忙看看啊，谢谢啊！

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-9-1 14:56:40

多等一会

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.common.keys import Keys
   
3. import time
   
4. 
   
5. 
   
6. web = Firefox()
   
7. web.get("http://lagou.com")
   
8. web.find_element_by_xpath('//*[@id="cboxClose"]').click()
   
9. time.sleep(1)
   
10. web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
    
11. time.sleep(10)
    
12. result = web.find_elements_by_xpath('//li')
    
13. print(result)
    

复制代码

跳转到最佳答案楼层

suchocolate

多等一会

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.common.keys import Keys
   
3. import time
   
4. 
   
5. 
   
6. web = Firefox()
   
7. web.get("http://lagou.com")
   
8. web.find_element_by_xpath('//*[@id="cboxClose"]').click()
   
9. time.sleep(1)
   
10. web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
    
11. time.sleep(10)
    
12. result = web.find_elements_by_xpath('//li')
    
13. print(result)
    

复制代码

江湖散人

suchocolate 发表于 2021-9-1 14:56
多等一会

为什么你用的 ('//li') 就可以，而我个  ('/html/body/div[6]/div[3]/div[1]/div[3]/ul/li')  是在标签上直接复制的xpath，为啥不行啊？

江湖散人

suchocolate 发表于 2021-9-1 14:56
多等一会

你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同啊？
为什么我复制的xpath不能得到我想要的结果？

suchocolate

江湖散人 发表于 2021-9-2 13:42
你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同 ...

xpath和我实际实际浏览看到的对不上

江湖散人

suchocolate 发表于 2021-9-2 14:45
xpath和我实际实际浏览看到的对不上

系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

suchocolate

江湖散人 发表于 2021-9-2 16:53
系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

江湖散人

suchocolate 发表于 2021-9-2 17:43
你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

好吧，谢谢你啊