[已解决]xpath提取

柠檬冲冲冲

我不知道为什么在divs = 那块地方，找div[2]这个节点不存在（我截图上传不了，大家可以看看网站源代码）
大家可以打开网页帮我看看源代码吗
网站是猪八戒网，url 如下，主要想用xpath提取一下关于saas的一些公司，接单价格，所在地等基本信息，
不知道哪出了问题，可以帮我看看怎么提取吗，下面的代码到divs那我就糊涂了，谢谢大家了

import requests
url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
resp = requests.get(url)
# print(resp.text)
#解析
html = etree.HTML(resp.text)

#拿到每个服务器的div
divs = html.xpath("/html/body/div[2]")
print(divs)

最佳答案

月排行榜 / 总排行榜

南归

2022-7-20 07:54:19

import requests
from lxml import etree

url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
resp = requests.get(url)
# print(resp.text)
# 解析
html = etree.HTML(resp.text)

p = []
for i in range(1, 51):
    name = html.xpath(
        '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/a/div[2]/div[1]/div/text()'.format(
            i
        )
    )[0]
    money = html.xpath(
        '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/div[3]/div[1]/span/text()'.format(
            i
        )
    )[0]
    location = (
        html.xpath(
            '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]//div[3]/div[1]/div/text()'.format(
                i
            )
        )[0]
        .replace("\n", "")
        .replace(" ", "")
    )
    p.append([name, money, location])
print(p)

跳转到最佳答案楼层

wp231957

盲猜都是动态数据，所有诸如xpath一类的静态解析都不可以

南归

import requests
from lxml import etree

url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
resp = requests.get(url)
# print(resp.text)
# 解析
html = etree.HTML(resp.text)

p = []
for i in range(1, 51):
    name = html.xpath(
        '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/a/div[2]/div[1]/div/text()'.format(
            i
        )
    )[0]
    money = html.xpath(
        '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/div[3]/div[1]/span/text()'.format(
            i
        )
    )[0]
    location = (
        html.xpath(
            '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]//div[3]/div[1]/div/text()'.format(
                i
            )
        )[0]
        .replace("\n", "")
        .replace(" ", "")
    )
    p.append([name, money, location])
print(p)