dragon_xiao 发表于 2021-6-6 16:53:36

能讲解一下爬取web服务器数据

我们公司用Java搭建了的平台,运行一个.jnlp文件,该文件指向内网服务器的某端口,herd=“某某.jnlp”。

我运行这个小程序只能查某单个数据,能否用python爬取全部数据

dragon_xiao 发表于 2021-6-6 16:54:58

或者下载下全部数据,也行,望提供一下方法或者思路

wp231957 发表于 2021-6-6 17:17:41

dragon_xiao 发表于 2021-6-6 16:54
或者下载下全部数据,也行,望提供一下方法或者思路

能通过浏览器访问的,基本都能抓包

suchocolate 发表于 2021-6-6 22:41:37

先获取一个结果看看吧,生成的result.html发上来。
import requests


def main():
    url = 'your url'
    headers = {'user-agent': 'firefox'}
    r = requests.get(url, headers=headers)
    with open('result.html', 'w') as f:
      f.write(r.text)
    print('done!')


if __name__ == '__main__':
    main()
页: [1]
查看完整版本: 能讲解一下爬取web服务器数据