老坚果 发表于 2020-12-30 15:31:56

求requests模块下载源码的信息不全的原因

本帖最后由 老坚果 于 2020-12-30 15:33 编辑

我使用requests模块下载了一个网站的源码(海康威视的一个ip),在一个ip中我下载到的数据明显与源码中的数据不相同,想要知道是什么原因,有没有什么解决办法。附下载代码网站源码截图以及下载源码截图:
import requests

def savefile(fn,data):
    f = open(fn+'.html','wb')
    f.write(data)
    f.close()
url = 'http://115.79.164.166:5984/doc/page/login.asp?_1609295454372'

response = requests.get(url,timeout=3).content
savefile('1',response)
网页源码截图:

下载到的源码截图:

suchocolate 发表于 2020-12-30 15:31:57

那个信息是js加载的。
页面加载时会触发一个资源访问:http://115.79.164.166:5984/doc/script/common.js?version=V4.0.1build170711,得到js脚本。
那个信息就是用这个js脚本处理得到的,所以得经过js处理,直接拿是拿不到的。

hrp 发表于 2020-12-30 15:49:56

加headers

老坚果 发表于 2020-12-30 16:12:46

suchocolate 发表于 2020-12-30 15:53
那个信息是js加载的。
页面加载时会触发一个资源访问:http://115.79.164.166:5984/doc/script/common.js? ...

原来如此
页: [1]
查看完整版本: 求requests模块下载源码的信息不全的原因