爬虫——使用XPath——XPath提供了非常简明的路经选择表达式

xiaoflyfly

1. from lxml import etree
   
2. text = '''
   
3. <div>
   
4. <ul>
   
5. <li class="item-0"><a href="link1.html"><span>first item</span></a></li>
   
6. <li class="item-1"><a href="link2.html">second item</a></li>
   
7. <li class="item-inactive"><a href="link3.html">third item</a></li>
   
8. <li class="item-1"><a href="link4.html">fourth item</a></li>
   
9. <li class="item-0"><a href="link5.html">fifth item</a>
   
10. <ul>
    
11. <div>
    
12. '''
    
13. html = etree.HTML(text)
    
14. #所有节点
    
15. #*代表匹配所有的节点，也可以匹配特点的节点
    
16. result1 = html.xpath('//*')
    
17. #子节点
    
18. #通过/或//可查找元素的子节点和孙节点
    
19. #/用于选取子节点,//用于选取孙节点，如果要获取所有子孙节点，就可以使用//
    
20. result2 = html.xpath('//li/a')
    
21. 
    
22. #父节点
    
23. #查找父节点可以通过..parent::和来实现
    
24. result3 = html.xpath('//a[@href="link4.html"]/../@class')
    
25. result4 = html.xpath('//a[@href="link4.html"]/parent::*/@class')
    
26. #匹配属性
    
27. result5 = html.xpath('//li[@class="item-0"]')
    
28. #文本获取
    
29. result6 = html.xpath('//li[@class="item-0"]/text()')
    
30. ##获取li节点内部的文本，一种先选取a节点在获取文本， 另一种就是使用//
    
31. result7 = html.xpath('//li[@class="item-0"]/a/text()')
    
32. result8 = html.xpath('//li[@class="item-0"]//text()')
    
33. #属性获取（用@符号获取节点属性）
    
34. result9 = html.xpath('//li/a/@href')
    
35. 
    
36. text = '''
    
37. <li class="li li-first" name="item"><a href="link.html">first item</a><li>
    
38. '''
    
39. html1 = etree.HTML(text)
    
40. result10 = html1.xpath('//li[class="li"]/a/text')
    
41. #这里的HTML文本中的li节点的class属性有两个值li/li-first，此时如果还想用之前的匹配获取，就无法匹配了
    
42. #利用contains()方法，第一个参数传入属性名称，第二个参数传入属性值，只要此属性包含所传入的属性值就可匹配
    
43. result11 = html1.xpath('//li[contains(@class,"li")]/a/text()')
    
44. 
    
45. #多属性匹配
    
46. #XPath中有and/or/mod|/+等运算符
    
47. result12 = html1.xpath('//li[contains(@class, "li") and @name="item"]/a/text()')
    
48. # print(result12)
    
49. #按顺序选择
    
50. result13 = html.xpath('//li[1]/a/text()')
    
51. # print(result13)
    
52. result14 = html.xpath('//li[last()]/a/text()')
    
53. # print(result14)
    
54. result15 = html.xpath('//li[position()<3]/a/text()')
    
55. # print(result15)
    
56. result16 = html.xpath('//li[last()-2]/a/text()')
    
57. # print(result16)
    
58. #这里的序列是从1开始的，而不是从0开始，last()是最后一个，last()-2为导数第三个，而position<3, 为前2个
    
59. #在XPath中提供了100多个函数,可参考：https://www.cnblogs.com/zhangfei/archive/2013/02/27/2935264.html
    
60. #节点轴选择
    
61. ##调用ancetor轴，可以获取所有的祖先节点，其后需要跟两个冒号，然后是节点选择器：*表示匹配所有的节点
    
62. result17 = html.xpath('//li[1]/ancestor::*')
    
63. # print(result17)
    
64. #在后面加上div限制，还可以加html/boby/div/ul等
    
65. result18 = html.xpath('//li[1]/ancestor::div')
    
66. print(result18)
    
67. #调用attribute轴，可以获取所有的属性值，其后跟的选择器还是*,这代表获得该节点的所有的属性
    
68. result19 = html.xpath('//li[1]/attribute::*')
    
69. print(result19)
    
70. #调用child轴，可以获得所有直接子节点。这里加了限定条件，选取href属性为link1.html的a节点
    
71. result20 = html.xpath('//li[1]/child::a[@href="link1.html"]')
    
72. print(result20)
    
73. #调用descendant轴，获取孙节点。
    
74. result21 = html.xpath('//li[1]/descendant::span')
    
75. print(result21)
    
76. #选取following轴，获取当前节点之后的所有节点，虽然使用*匹配，但加了索引
    
77. result22 = html.xpath('//li[1]/following::*[2]')
    
78. print(result22)
    
79. #调用following-slibling轴，可以获取当前节点之后的所有同级节点
    
80. result23 = html.xpath('//li[1]/following-sibling::*')
    
81. print(result23)

复制代码

游客，如果您要查看本帖隐藏内容请回复

jroilee

666

Lucases

学习来了

EDX

666

小志呀

1

python_nozomi

1

jk1532794827

学习学习

Janway88

雨云天

XUEXIXUEXI

jracuss

感谢FishC.COM

浩浩学python

1

xigarong

学习

q00110011

2346546465465

BI6MQP

66666

洛与春风

2

柠檬西瓜汁

学习

hela520