[已解决]xpath提取

柠檬冲冲冲

我不知道为什么在divs = 那块地方，找div[2]这个节点不存在（我截图上传不了，大家可以看看网站源代码）
大家可以打开网页帮我看看源代码吗
网站是猪八戒网，url 如下，主要想用xpath提取一下关于saas的一些公司，接单价格，所在地等基本信息，
不知道哪出了问题，可以帮我看看怎么提取吗，下面的代码到divs那我就糊涂了，谢谢大家了

1. import requests
   
2. url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
   
3. resp = requests.get(url)
   
4. # print(resp.text)
   
5. #解析
   
6. html = etree.HTML(resp.text)
   
7. 
   
8. #拿到每个服务器的div
   
9. divs = html.xpath("/html/body/div[2]")
   
10. print(divs)

复制代码

最佳答案

月排行榜 / 总排行榜

南归

2022-7-20 07:54:19

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
   
5. resp = requests.get(url)
   
6. # print(resp.text)
   
7. # 解析
   
8. html = etree.HTML(resp.text)
   
9. 
   
10. p = []
    
11. for i in range(1, 51):
    
12.     name = html.xpath(
    
13.         '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/a/div[2]/div[1]/div/text()'.format(
    
14.             i
    
15.         )
    
16.     )[0]
    
17.     money = html.xpath(
    
18.         '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/div[3]/div[1]/span/text()'.format(
    
19.             i
    
20.         )
    
21.     )[0]
    
22.     location = (
    
23.         html.xpath(
    
24.             '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]//div[3]/div[1]/div/text()'.format(
    
25.                 i
    
26.             )
    
27.         )[0]
    
28.         .replace("\n", "")
    
29.         .replace(" ", "")
    
30.     )
    
31.     p.append([name, money, location])
    
32. print(p)
    

复制代码

跳转到最佳答案楼层

wp231957

盲猜都是动态数据，所有诸如xpath一类的静态解析都不可以

南归

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = "https://beijing.zbj.com/search/service/?l=0&kw=saas&r=1"
   
5. resp = requests.get(url)
   
6. # print(resp.text)
   
7. # 解析
   
8. html = etree.HTML(resp.text)
   
9. 
   
10. p = []
    
11. for i in range(1, 51):
    
12.     name = html.xpath(
    
13.         '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/a/div[2]/div[1]/div/text()'.format(
    
14.             i
    
15.         )
    
16.     )[0]
    
17.     money = html.xpath(
    
18.         '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]/div[3]/div[1]/span/text()'.format(
    
19.             i
    
20.         )
    
21.     )[0]
    
22.     location = (
    
23.         html.xpath(
    
24.             '//*[@id="__layout"]/div/div[3]/div/div[3]/div[4]/div[1]/div[{}]//div[3]/div[1]/div/text()'.format(
    
25.                 i
    
26.             )
    
27.         )[0]
    
28.         .replace("\n", "")
    
29.         .replace(" ", "")
    
30.     )
    
31.     p.append([name, money, location])
    
32. print(p)
    

复制代码