[已解决]xpath如何获取两个span标签内的内容

罗同学

各位大佬，最新想爬个小说来看，地址：http://minguodaomuwangshi.wddsnxn.org/，页面是按卷分类的，卷的名字和卷内每一章的span标签没有上下级的关系，如下图，统一都在div[@class="booklist clearfix"]这一级下面，请问有没有什么办法可以获取两个卷名span标签之间的所有章节span呢。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-12-14 16:38:17

罗同学 发表于 2020-12-14 16:00
大佬、不是这个需求啊，网页是有一个卷名，第一卷第二卷这种的，是想获取比如第一卷里面的所有标签，因为 ...

a空为章节标题，加入总结果列表，并记录其index，如果只取其中一部分内容，那么按照index标号range去取就可以了。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'http://minguodaomuwangshi.wddsnxn.org/'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     html = etree.HTML(r.text)
    
11.     vols = html.xpath('//div[@class="booklist clearfix"]/span[@class="v"]/text()')
    
12.     vol_index = []
    
13.     n = 0
    
14.     result = []
    
15.     spans = html.xpath('//div[@class="booklist clearfix"]/span')
    
16.     for span in spans:
    
17.         link = span.xpath('./a/@href')
    
18.         text = span.xpath('./a/text()')
    
19.         if link:
    
20.             # print(text, link)
    
21.             result.append([text[0], link[0]])
    
22.         else:
    
23.             result.append([vols[n]])
    
24.             vol_index.append(len(result) - 1)
    
25.             n = n + 1
    
26.     print(f'章节inex：{vol_index}')
    
27.     print(result)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'http://minguodaomuwangshi.wddsnxn.org/'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     html = etree.HTML(r.text)
    
11.     spans = html.xpath('//div[@class="booklist clearfix"]/span')
    
12.     for span in spans:
    
13.         link = span.xpath('./a/@href')
    
14.         text = span.xpath('./a/text()')
    
15.         print(text, link)
    
16. 
    
17. 
    
18. if __name__ == '__main__':
    
19.     main()

复制代码

罗同学

suchocolate 发表于 2020-12-14 15:46

大佬、不是这个需求啊，网页是有一个卷名，第一卷第二卷这种的，是想获取比如第一卷里面的所有标签，因为卷名和章节的名字没有从属关系，就不知道怎么写

suchocolate

罗同学 发表于 2020-12-14 16:00
大佬、不是这个需求啊，网页是有一个卷名，第一卷第二卷这种的，是想获取比如第一卷里面的所有标签，因为 ...

a空为章节标题，加入总结果列表，并记录其index，如果只取其中一部分内容，那么按照index标号range去取就可以了。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'http://minguodaomuwangshi.wddsnxn.org/'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     html = etree.HTML(r.text)
    
11.     vols = html.xpath('//div[@class="booklist clearfix"]/span[@class="v"]/text()')
    
12.     vol_index = []
    
13.     n = 0
    
14.     result = []
    
15.     spans = html.xpath('//div[@class="booklist clearfix"]/span')
    
16.     for span in spans:
    
17.         link = span.xpath('./a/@href')
    
18.         text = span.xpath('./a/text()')
    
19.         if link:
    
20.             # print(text, link)
    
21.             result.append([text[0], link[0]])
    
22.         else:
    
23.             result.append([vols[n]])
    
24.             vol_index.append(len(result) - 1)
    
25.             n = n + 1
    
26.     print(f'章节inex：{vol_index}')
    
27.     print(result)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()
    

复制代码

孤独的嫖客

尝试了xpath的模糊定位配合轴定位

1. //span[contains(text(),"卷二")]/preceding-sibling::span[@class=""]

复制代码

勉强能满足楼主的需求,但这个只能满足当前书籍卷一采集的情况,批量采集可能行不通
后面的卷数(卷三  卷四等)用上面的更行不通,后来继续改换思路

1. 卷一 //span[contains(text(),"全部")]/following-sibling::span[position()<70]
   
2. 
   
3. 卷二 //span[contains(text(),"卷二")]/following-sibling::span[position()<72]
   
4. 
   
5. 卷三 //span[contains(text(),"卷三")]/following-sibling::span[position()<75]
   
6. 
   
7. 卷四 //span[contains(text(),"卷四")]/following-sibling::span[position()<79]
   
8. 
   
9. 卷五 //span[contains(text(),"卷五")]/following-sibling::span[position()<80]
   
10. 
    
11. 卷六 //span[contains(text(),"卷六")]/following-sibling::span[position()<81]
    
12. 
    
13. 卷七 //span[contains(text(),"卷七")]/following-sibling::span[position()<70]

复制代码

如果是这样的话  分卷采集应该就没有问题了
主要还是网站的问题 如果分卷标题和分卷章节节点为父子关系,xpath写起来会容易很多


可惜不是悬赏贴 不然还能赚点鱼币

罗同学

孤独的嫖客 发表于 2020-12-14 18:54
尝试了xpath的模糊定位配合轴定位
勉强能满足楼主的需求,但这个只能满足当前书籍卷一采集的情况,批量采集 ...

是啊是啊、要是节点有父子关系就好写了

孤独的嫖客

罗同学 发表于 2020-12-15 15:19
是啊是啊、要是节点有父子关系就好写了

应该我是最佳啊?
这节点都给你了

温木zou

为什么不直接用个循环...