[已解决]审查元素上有的数据在网页原代码中查找不到，求助！！！

有蓓而来

图一中审查元素可以看到总评价量，但是在图二的网页原代码中找不到。求解决方法，万分感谢!!!!

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-1-19 15:50:43

有蓓而来 发表于 2021-1-19 16:38
请问数据接口是通过什么找到的？另外找到之后应该怎么用？

抓包分析，这个你如果不会，可以网上找些视频教程看看，应该有这类视频。我大概说说，找数据接口方式挺多，比如我上面说的特征关键词筛选，就是一个比较常用的方法，一般网站为了方便识别，取名都是有关联性的，比如你要评论数据，那么关联性就可能是评论的英文单词comment，比如你要一个网站的搜索结果，那么关联性就可能是搜索的英文单词search，等等。。。可以说很多网站都是这么做的。
如果特征关键词找不到，那就再用排除法，比如我知道有数据接口，既然知道有数据接口，就能知道网页类型不可能是img/css/font等等，那么筛选的时候去除这些不可能的类型，就缩小了查找接口的范围，再接着排除就行。
判断数据是不是你想要的，去看该请求的response就行了。

数据接口就是一个url，你直接写代码，把参数携带上去请求就行了，返回是json数据，提取json数据这都是基础，我就不说了哈。

跳转到最佳答案楼层

YunGuo

有蓓而来 发表于 2021-1-19 16:38
请问数据接口是通过什么找到的？另外找到之后应该怎么用？

抓包分析，这个你如果不会，可以网上找些视频教程看看，应该有这类视频。我大概说说，找数据接口方式挺多，比如我上面说的特征关键词筛选，就是一个比较常用的方法，一般网站为了方便识别，取名都是有关联性的，比如你要评论数据，那么关联性就可能是评论的英文单词comment，比如你要一个网站的搜索结果，那么关联性就可能是搜索的英文单词search，等等。。。可以说很多网站都是这么做的。
如果特征关键词找不到，那就再用排除法，比如我知道有数据接口，既然知道有数据接口，就能知道网页类型不可能是img/css/font等等，那么筛选的时候去除这些不可能的类型，就缩小了查找接口的范围，再接着排除就行。
判断数据是不是你想要的，去看该请求的response就行了。

数据接口就是一个url，你直接写代码，把参数携带上去请求就行了，返回是json数据，提取json数据这都是基础，我就不说了哈。

YunGuo

数据不在网页源代码中，需要分析找数据接口

有蓓而来

YunGuo 发表于 2021-1-19 16:16
所以，图呢？

图我发上去了啊，没有吗？

有蓓而来

YunGuo 发表于 2021-1-19 16:16
所以，图呢？

[img]https://xxx.ilovefishc.com/forum/202101/19/154826rg5g56qd1h77hgzn.png.thumb.jpg

                               
登录/注册后可看大图

[/img]

YunGuo

有蓓而来 发表于 2021-1-19 16:17
图我发上去了啊，没有吗？

不好意思，刚看到

有蓓而来

YunGuo 发表于 2021-1-19 16:18
不好意思，刚看到

没事

有蓓而来

YunGuo 发表于 2021-1-19 16:16
数据不在网页源代码中，需要分析找数据接口

请问应该如何分析？

YunGuo

有蓓而来 发表于 2021-1-19 16:19
没事

这个是数据接口：https://club.jd.com/comment/productCommentSummaries.action?referenceIds=100017628668

referenceIds：商品的skuid

YunGuo

有蓓而来 发表于 2021-1-19 16:23
请问应该如何分析？

爬虫就是这样，抓包分析，你要爬数据，首先看数据是否在源代码中，如果不在，那么可能就是经过浏览器渲染加载到网页中的，这个时候就得分析浏览器请求网页的过程，从所有请求中找到你想要的数据接口，一般通过特征筛选查找数据接口，比如你要获取评价数，那么特征就是关键词comment，通过筛选关键词就能快速定位到接口；再分析接口是否需要携带参数，只有前面都搞清楚了，最后才能快速完成爬虫代码成功获取到数据。

有蓓而来

YunGuo 发表于 2021-1-19 16:25
这个是数据接口：https://club.jd.com/comment/productCommentSummaries.action?referenceIds=1000176286 ...

请问数据接口是通过什么找到的？另外找到之后应该怎么用？

4goodworld

有蓓而来 发表于 2021-1-19 16:23
请问应该如何分析？

F12开发者工具，在network里面进行搜索，通过search查找你想要的关键字，根据关键字锁定“网址”

有蓓而来

YunGuo 发表于 2021-1-19 15:50
抓包分析，这个你如果不会，可以网上找些视频教程看看，应该有这类视频。我大概说说，找数据接口方式挺多 ...

明白了，多谢