[已解决]python中使用xpath爬取数据问题

python小小白哟

如图我只想提取前4个节点的内容，该怎么修改呢？我不想要第5个节点的text文本内容。



代码如下:

1. import requests
   
2. from lxml import etree
   
3. 
   
4. headers = {
   
5.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54"
   
6. }
   
7. 
   
8. 
   
9. 
   
10. a = requests.get("https://www.52pojie.cn/",headers=headers).text
    
11. b = etree.HTML(a)
    
12. c = b.xpath("//td[@valign='top']//a//text()")
    
13. for i in c:
    
14.     print(i)

复制代码

在线等，谢谢。

最佳答案

月排行榜 / 总排行榜

陶远航

2023-8-25 17:39:18

python小小白哟 发表于 2023-8-25 17:36
刚试了下   这样不行  只获取了第一个节点的前4个内容

1. import requests
   
2. from lxml import etree
   
3. 
   
4. headers = {
   
5.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54"
   
6. }
   
7. 
   
8. 
   
9. 
   
10. a = requests.get("https://www.52pojie.cn/",headers=headers).text
    
11. b = etree.HTML(a)
    
12. for i in range(1,5):
    
13.     c = b.xpath(f"//td[@valign='top'][{i}]//a//text()")
    
14.     for i in c:
    
15.         print(i)
    

复制代码

人工回答，实测可行

跳转到最佳答案楼层

陶远航

根据你提供的代码截图，你想提取前四个节点的内容，并且不包括第五个节点的文本内容。你可以通过切片来实现这个目标。

这里假设你获取到的节点列表为c，你可以使用c[:4]来提取前四个节点：

1. c = b.xpath("//td[@valign='top']//a//text()")
   
2. for i in c[:4]:
   
3.     print(i)
   

复制代码

在上述代码中，c[:4]表示从列表的开头开始，截取到索引为3（第四个节点）的位置，即提取了前四个节点。

这样修改后，你会发现只输出前四个节点的内容，而第五个节点的内容将被忽略。

希望这可以帮助到你！如果还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案

isdkz

你可以使用切片操作来提取前4个节点的内容，即将 c 变量的取值范围限制在0到3之间。修改代码如下：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. headers = {
   
5.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54"
   
6. }
   
7. 
   
8. a = requests.get("https://www.52pojie.cn/",headers=headers).text
   
9. b = etree.HTML(a)
   
10. c = b.xpath("//td[@valign='top']//a//text()")[:4]  # 使用切片操作获取前4个节点的内容
    
11. for i in c:
    
12.     print(i)
    

复制代码

这样，只会打印出前4个节点的内容，而不包括第5个节点的文本内容。

python小小白哟

陶远航 发表于 2023-8-25 17:30
根据你提供的代码截图，你想提取前四个节点的内容，并且不包括第五个节点的文本内容。你可以通过切片来实现 ...

刚试了下   这样不行  只获取了第一个节点的前4个内容

python小小白哟

isdkz 发表于 2023-8-25 17:32
你可以使用切片操作来提取前4个节点的内容，即将 c 变量的取值范围限制在0到3之间。修改代码如下：

刚试了下   这样不行  只获取了第一个节点的前4个内容

陶远航

python小小白哟 发表于 2023-8-25 17:36
刚试了下   这样不行  只获取了第一个节点的前4个内容

1. import requests
   
2. from lxml import etree
   
3. 
   
4. headers = {
   
5.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54"
   
6. }
   
7. 
   
8. 
   
9. 
   
10. a = requests.get("https://www.52pojie.cn/",headers=headers).text
    
11. b = etree.HTML(a)
    
12. for i in range(1,5):
    
13.     c = b.xpath(f"//td[@valign='top'][{i}]//a//text()")
    
14.     for i in c:
    
15.         print(i)
    

复制代码

人工回答，实测可行

陶远航

6楼可以的，改了，看看

python小小白哟

陶远航 发表于 2023-8-25 17:39
人工回答，实测可行

还是不行呀  还是只获取到了第一个节点的前4个标题。

python小小白哟

陶远航 发表于 2023-8-25 17:42
6楼可以的，改了，看看

好的  这个可以了，多谢。