审查元素上有的数据在网页原代码中查找不到，求助！！！
图一中审查元素可以看到总评价量，但是在图二的网页原代码中找不到。求解决方法，万分感谢!!!!有蓓而来 发表于 2021-1-19 16:38
请问数据接口是通过什么找到的？另外找到之后应该怎么用？
抓包分析，这个你如果不会，可以网上找些视频教程看看，应该有这类视频。我大概说说，找数据接口方式挺多，比如我上面说的特征关键词筛选，就是一个比较常用的方法，一般网站为了方便识别，取名都是有关联性的，比如你要评论数据，那么关联性就可能是评论的英文单词comment，比如你要一个网站的搜索结果，那么关联性就可能是搜索的英文单词search，等等。。。可以说很多网站都是这么做的。
如果特征关键词找不到，那就再用排除法，比如我知道有数据接口，既然知道有数据接口，就能知道网页类型不可能是img/css/font等等，那么筛选的时候去除这些不可能的类型，就缩小了查找接口的范围，再接着排除就行。
判断数据是不是你想要的，去看该请求的response就行了。
数据接口就是一个url，你直接写代码，把参数携带上去请求就行了，返回是json数据，提取json数据这都是基础，我就不说了哈。
本帖最后由 YunGuo 于 2021-1-19 16:18 编辑
数据不在网页源代码中，需要分析找数据接口 YunGuo 发表于 2021-1-19 16:16
所以，图呢？
图我发上去了啊，没有吗？
YunGuo 发表于 2021-1-19 16:16
所以，图呢？
https://xxx.ilovefishc.com/forum/202101/19/154826rg5g56qd1h77hgzn.png.thumb.jpghttps://xxx.ilovefishc.com/forum/202101/19/154838hwlawlis8u257jda.png.thumb.jpg 有蓓而来 发表于 2021-1-19 16:17
图我发上去了啊，没有吗？
不好意思，刚看到 YunGuo 发表于 2021-1-19 16:18
不好意思，刚看到
没事{:5_109:} YunGuo 发表于 2021-1-19 16:16
数据不在网页源代码中，需要分析找数据接口
请问应该如何分析？ 有蓓而来 发表于 2021-1-19 16:19
没事
这个是数据接口：https://club.jd.com/comment/productCommentSummaries.action?referenceIds=100017628668
referenceIds：商品的skuid 有蓓而来 发表于 2021-1-19 16:23
请问应该如何分析？
爬虫就是这样，抓包分析，你要爬数据，首先看数据是否在源代码中，如果不在，那么可能就是经过浏览器渲染加载到网页中的，这个时候就得分析浏览器请求网页的过程，从所有请求中找到你想要的数据接口，一般通过特征筛选查找数据接口，比如你要获取评价数，那么特征就是关键词comment，通过筛选关键词就能快速定位到接口；再分析接口是否需要携带参数，只有前面都搞清楚了，最后才能快速完成爬虫代码成功获取到数据。 YunGuo 发表于 2021-1-19 16:25
这个是数据接口：https://club.jd.com/comment/productCommentSummaries.action?referenceIds=1000176286 ...
请问数据接口是通过什么找到的？另外找到之后应该怎么用？
有蓓而来 发表于 2021-1-19 16:23
请问应该如何分析？
F12开发者工具，在network里面进行搜索，通过search查找你想要的关键字，根据关键字锁定“网址” YunGuo 发表于 2021-1-19 15:50
抓包分析，这个你如果不会，可以网上找些视频教程看看，应该有这类视频。我大概说说，找数据接口方式挺多 ...
明白了，多谢{:5_110:}
页:
[1]