额外话题--js爬虫的jsonpath模块

Stubborn

js动态加载的数据都是给你返回的json串数据，和xpath差不多的吧。

1. # -*- coding: utf-8 -*-
   
2. # @Time    : 2019-04-08 00:35
   
3. # @Author  : Ein
   
4. # @File    : xpath和jsonxpath对比.py
   
5. # @Software: PyCharm
   
6. book_json = {"store": {
   
7.     "book": [
   
8.       {
   
9.         "category": "数学",
   
10.         "author": "Ein",
    
11.         "title": "初中高数",
    
12.         "price": 8.95
    
13.       },
    
14.       {
    
15.         "category": "历史",
    
16.         "author": "Ethan",
    
17.         "title": "中庸",
    
18.         "isbn":"123456",
    
19.         "price": 16
    
20.       },
    
21.       {
    
22.         "category": "化学",
    
23.         "author": "Eining",
    
24.         "title": "氮气",
    
25.         "isbn":"8722058",
    
26.         "price": 17.85
    
27.       },
    
28.       {
    
29.         "category": "物理",
    
30.         "author": "Stubbron",
    
31.         "title": "牛顿第三定律",
    
32.         "price": 88.88
    
33.       },
    
34.       {
    
35.         "category": "英语",
    
36.         "author": "loae",
    
37.         "title": "六级英语大纲",
    
38.         "price": 77.68
    
39.       },
    
40.       {
    
41.         "category": "政治",
    
42.         "author": "习大大",
    
43.         "title": "三进三出",
    
44.         "price": 27.7
    
45.       }
    
46.     ],
    
47.     "bicycle": {
    
48.       "color": "red",
    
49.       "pricr": 19.95
    
50.     }
    
51.   }}
    
52. import jsonpath
    
53. 
    
54. #jsonxpath和xpath
    
55. #查找书点所有的author
    
56. ret = jsonpath.jsonpath(book_json,'$.store.book[*].author')
    
57. #res = tree.xpath('/store/boob/author')
    
58. 
    
59. #所有的作者
    
60. ret1 = jsonpath.jsonpath(book_json,'$..author')
    
61. #res1 = tree.xpath('//author')
    
62. 
    
63. #查找store下所有的节点
    
64. ret2 = jsonpath.jsonpath(book_json,'$.store.*')
    
65. #res2 = tree.xpath('/store/*')
    
66. 
    
67. # 查找store下所有的price
    
68. ret3 = jsonpath.jsonpath(book_json,'$.store..price')
    
69. #res2 = tree.xpath('//store//price')
    
70. 
    
71. #查找第三个book,返回的是一个列表
    
72. ret4 = jsonpath.jsonpath(book_json,'$..book[2]')
    
73. #res2 = tree.xpath('//book[3]')
    
74. 
    
75. #查找最后一本book
    
76. ret5 = jsonpath.jsonpath(book_json,'$..book[(@.length-1)]')
    
77. #res2 = tree.xpath('//book[last()]')
    
78. 
    
79. #过滤包含有isbn键值的数据
    
80. ret6 = jsonpath.jsonpath(book_json,'$..book[?(@.isbn)]')
    
81. #res2 = tree.xpath('//book[isbn]')
    
82. 
    
83. #过滤price低于20的书籍
    
84. ret7 = jsonpath.jsonpath(book_json,'$..book[?(@.price<10)]')
    
85. #res2 = tree.xpath('//book[price<10]')
    

复制代码

wp231957

可以确定 某网页使用了jquery 把mp3的全路径给藏起来了，应该怎么破，或者我应该学习一些哪些资料

Stubborn

wp231957 发表于 2019-4-14 10:17
可以确定 某网页使用了jquery 把mp3的全路径给藏起来了，应该怎么破，或者我应该学习一些哪些资料

我也是刚学，可以吧链接发给我瞅瞅

wp231957

Stubborn 发表于 2019-4-14 13:17
我也是刚学，可以吧链接发给我瞅瞅

先谢谢了

http://www.lrts.me/book/32931

Stubborn

wp231957 发表于 2019-4-14 13:28
先谢谢了

http://www.lrts.me/book/32931

很容易啊，我写个教程吧  戳我前进

Stubborn

wp231957 发表于 2019-4-14 13:28
先谢谢了

http://www.lrts.me/book/32931

OK 链接上面有了，看不懂思路留言即可

wp231957

Stubborn 发表于 2019-4-14 17:59
OK 链接上面有了，看不懂思路留言即可

是32931啊，你那个不对吧

Stubborn

wp231957 发表于 2019-4-14 21:15
是32931啊，你那个不对吧

你那个只能爬20章，剩余的提示需要app端听，没有试过能不能请求成功，暂时还不知道怎么破哦