[已解决]关于爬虫问题

土沙拉

请教各位大神怎么可以非手动获取F12后network下的页面url，学习

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-11-21 21:26:37

土沙拉 发表于 2018-11-21 21:21
源码中找不到js文件的链接，链接的规律倒是很好找

一般在head标签里面

跳转到最佳答案楼层

土沙拉

如下图

wongyusing

有规律的，要分析后才能说

土沙拉

wongyusing 发表于 2018-11-21 18:37
有规律的，要分析后才能说

麻烦您举个例子？

wongyusing

土沙拉 发表于 2018-11-21 18:40
麻烦您举个例子？

麻烦你发个地址

土沙拉

wongyusing 发表于 2018-11-21 18:41
麻烦你发个地址

http://money.163.com/bitcoin 这个，谢谢您 我想找出异步地址 http://money.163.com/special/002 ... lback=data_callback

wongyusing

wongyusing 发表于 2018-11-21 18:41
麻烦你发个地址

你需要了解规律，然后才能获取到所谓的回调地址。
特别需要js知识

如果是想自动获取的话。  
首先从网页源代码中获取js文件的链接。  
然后打开js文件的链接，看一下js函数的规律。  
看一下是前端构建链接还是后端获取构建链接的。  

观察规律后，
把js翻译成python代码后构建链接进行获取。  

土沙拉

wongyusing 发表于 2018-11-21 19:01
你需要了解规律，然后才能获取到所谓的回调地址。
特别需要js知识

源码中找不到js文件的链接，链接的规律倒是很好找

wongyusing

土沙拉 发表于 2018-11-21 21:21
源码中找不到js文件的链接，链接的规律倒是很好找

一般在head标签里面

土沙拉

wongyusing 发表于 2018-11-21 21:26
一般在head标签里面

好的，谢谢您，我看看

土沙拉

wongyusing 发表于 2018-11-21 21:26
一般在head标签里面

head里也没有，去哪找？谢谢

wongyusing

土沙拉 发表于 2018-11-21 22:38
head里也没有，去哪找？谢谢

举个例子，网页源代码的217行不是吗？？

1. 
   
2. <script _keep="true" src="https://urswebzj.nosdn.127.net/webzj_cdn101/message.js" type="text/javascript"></script>

复制代码

当然，还有好几个。
分析一下就好啦。
不过，现在的js代码很多都是压缩混淆过的

土沙拉

wongyusing 发表于 2018-11-21 22:41
举个例子，网页源代码的217行不是吗？？

当然，还有好几个。

嗯嗯，也就说所有的js在网页源代码中都会存在，只不过有的是压缩后的会有变化，
顺便麻烦问下这个有没有相应的资料可查？谢谢

wongyusing

土沙拉 发表于 2018-11-22 08:28
嗯嗯，也就说所有的js在网页源代码中都会存在，只不过有的是压缩后的会有变化，
顺便麻烦问下这个有没有 ...

去搜一下“javascript在线格式化”就好了

土沙拉

wongyusing 发表于 2018-11-22 10:57
去搜一下“javascript在线格式化”就好了

谢谢