能讲解一下爬取web服务器数据

dragon_xiao

我们公司用Java搭建了的平台，运行一个.jnlp文件，该文件指向内网服务器的某端口，herd=“某某.jnlp”。

我运行这个小程序只能查某单个数据，能否用python爬取全部数据

dragon_xiao

或者下载下全部数据，也行，望提供一下方法或者思路

wp231957

dragon_xiao 发表于 2021-6-6 16:54
或者下载下全部数据，也行，望提供一下方法或者思路

能通过浏览器访问的，基本都能抓包

suchocolate

先获取一个结果看看吧，生成的result.html发上来。

import requests


def main():
    url = 'your url'
    headers = {'user-agent': 'firefox'}
    r = requests.get(url, headers=headers)
    with open('result.html', 'w') as f:
        f.write(r.text)
    print('done!')


if __name__ == '__main__':
    main()