论坛 › Python交流 › selenium的基础爬取数据问题

江湖散人 发表于 2021-9-1 13:44:49

selenium的基础爬取数据问题

from selenium.webdriver import Firefox
from selenium.webdriver.common.keys import Keys
import time

web = Firefox()
web.get("http://lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
time.sleep(1)
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
time.sleep(1)
content = web.find_elements_by_xpath('/html/body/div/div/div/div/ul/li')
print(content)


这是一个爬取拉勾网上python求职岗位的程序。
但是运行出来后，爬取的数据竟然为空。
一时没找到问题在哪，哪位前辈帮忙看看啊，谢谢啊！

suchocolate 发表于 2021-9-1 14:56:40

多等一会
from selenium.webdriver import Firefox
from selenium.webdriver.common.keys import Keys
import time


web = Firefox()
web.get("http://lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
time.sleep(1)
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)
time.sleep(10)
result = web.find_elements_by_xpath('//li')
print(result)

江湖散人 发表于 2021-9-1 16:04:34

suchocolate 发表于 2021-9-1 14:56
多等一会

为什么你用的 ('//li') 就可以，而我个('/html/body/div/div/div/div/ul/li')是在标签上直接复制的xpath，为啥不行啊？

江湖散人 发表于 2021-9-2 13:42:30

suchocolate 发表于 2021-9-1 14:56
多等一会

你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同啊？
为什么我复制的xpath不能得到我想要的结果？

suchocolate 发表于 2021-9-2 14:45:59

江湖散人 发表于 2021-9-2 13:42
你好，前辈，我这个问题在哪你看来应该是比较简单的。
//i 和我在源代码里复制出来的xpath 有什么不同 ...

xpath和我实际实际浏览看到的对不上

江湖散人 发表于 2021-9-2 16:53:00

suchocolate 发表于 2021-9-2 14:45
xpath和我实际实际浏览看到的对不上

系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

suchocolate 发表于 2021-9-2 17:43:41

江湖散人 发表于 2021-9-2 16:53
系统错误吗？
为啥对不上啊？都是在系统里直接复制的，应该不会错吧，是不是哪里有什么窍门啊？

你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

江湖散人 发表于 2021-9-2 19:07:52

suchocolate 发表于 2021-9-2 17:43
你自己一层一层对一下就知道了。
至少我一般很少用逐层指定。

好吧，谢谢你啊

查看完整版本: selenium的基础爬取数据问题