[已解决]selenium的基础爬取数据问题

江湖散人

from selenium.webdriver import Firefox
from selenium.webdriver.common.keys import Keys
import time

web = Firefox()
web.get("http://lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
time.sleep(1)
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
time.sleep(1)
content = web.find_elements_by_xpath('/html/body/div[6]/div[3]/div[1]/div[3]/ul/li')
print(content)

这是一个爬取拉勾网上python求职岗位的程序。
但是运行出来后，爬取的数据竟然为空。
一时没找到问题在哪，哪位前辈帮忙看看啊，谢谢啊！

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-9-1 14:56:40

多等一会

from selenium.webdriver import Firefox
from selenium.webdriver.common.keys import Keys
import time


web = Firefox()
web.get("http://lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
time.sleep(1)
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
time.sleep(10)
result = web.find_elements_by_xpath('//li')
print(result)

跳转到最佳答案楼层

suchocolate

多等一会

from selenium.webdriver import Firefox
from selenium.webdriver.common.keys import Keys
import time


web = Firefox()
web.get("http://lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
time.sleep(1)
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
time.sleep(10)
result = web.find_elements_by_xpath('//li')
print(result)

江湖散人

suchocolate 发表于 2021-9-1 14:56
多等一会

为什么你用的 ('//li') 就可以，而我个  ('/html/body/div[6]/div[3]/div[1]/div[3]/ul/li')  是在标签上直接复制的xpath，为啥不行啊？

江湖散人

suchocolate 发表于 2021-9-1 14:56
多等一会

你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同啊？
为什么我复制的xpath不能得到我想要的结果？

suchocolate

江湖散人 发表于 2021-9-2 13:42
你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同 ...

xpath和我实际实际浏览看到的对不上

江湖散人

suchocolate 发表于 2021-9-2 14:45
xpath和我实际实际浏览看到的对不上

系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

suchocolate

江湖散人 发表于 2021-9-2 16:53
系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

江湖散人

suchocolate 发表于 2021-9-2 17:43
你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

好吧，谢谢你啊