柠檬冲冲冲 发表于 2022-7-19 18:32:14

xpath提取

我不知道为什么在divs = 那块地方，找div这个节点不存在（我截图上传不了，大家可以看看网站源代码）
大家可以打开网页帮我看看源代码吗
网站是猪八戒网，url 如下，主要想用xpath提取一下关于saas的一些公司，接单价格，所在地等基本信息，
不知道哪出了问题，可以帮我看看怎么提取吗，下面的代码到divs那我就糊涂了，谢谢大家了


import requests
url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
resp = requests.get(url)
# print(resp.text)
#解析
html = etree.HTML(resp.text)

#拿到每个服务器的div
divs = html.xpath("/html/body/div")
print(divs)

wp231957 发表于 2022-7-20 06:40:06

盲猜都是动态数据，所有诸如xpath一类的静态解析都不可以

南归 发表于 2022-7-20 07:54:19

import requests
from lxml import etree

url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
resp = requests.get(url)
# print(resp.text)
# 解析
html = etree.HTML(resp.text)

p = []
for i in range(1, 51):
    name = html.xpath(
      '//*[@id="__layout"]/div/div/div/div/div/div/div[{}]/a/div/div/div/text()'.format(
            i
      )
    )
    money = html.xpath(
      '//*[@id="__layout"]/div/div/div/div/div/div/div[{}]/div/div/span/text()'.format(
            i
      )
    )
    location = (
      html.xpath(
            '//*[@id="__layout"]/div/div/div/div/div/div/div[{}]//div/div/div/text()'.format(
                i
            )
      )
      .replace("\n", "")
      .replace(" ", "")
    )
    p.append()
print(p)
页: [1]
查看完整版本: xpath提取