不分南北东西 发表于 2021-6-14 21:09:02

哈弗经销商数据爬取-python

各位大神好：

想爬取哈弗官网经销商的相关数据（代号、省份、城市、经销商名称、地址等），请各位大神帮忙，感谢！

网址：https://www.haval.com.cn/dealerpc/

wp231957 发表于 2021-6-14 21:09:03

他的请求参数 是动态的，我没有进行分析，试了一下，能拿到数据，你看一下
要是这个参数有时效性 ，就需要分析源代码了，很麻烦的

import requests

url = 'https://cmsmanage-siteapi.gwm.com.cn/dealer/dealer-zh'
headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
          }
data={
    'd':    "Zm3fO3MWF0Nv5D5sj1iFJEOY7cLDbE+uWdA7AjkS7LiHx9SoyT7AMSgbfkjq339W1PVZ5emfHrLO/RkDd23Dh2mzkEATjK+zQuukcturg3ZPQIk3dmodtxyvfI1iXYztpMXIXpI6TH6MkieKmxur4XYa2LwoEHOyXPE0k2LTYG0=BDP8J8hszWQE1qsuGLVJRCpg1wTEYGnRg7F4nqdYVBoCrvd+aWjukr4auhpk3MNDCi6Aea2SmeluaooXoCRi+JtzNLNSRvPDGCdgyq0Tr9pjBtIO6iK2vd75Ma8HIwGnWN4SRPk/Sg+SPg5Umhhp9bx4bR9jwJ6T7ugX/6mVKCI=",
    'sign': "d6f9558d65d9a7be16ba8959724d1bc7",
    't':    '1623830968'
}
res=requests.post(url=url,headers=headers,data=data).json()["data"]

print(len(res))
for x in res:
    print(x)

不分南北东西 发表于 2021-6-17 11:11:43

wp231957 发表于 2021-6-14 21:09
他的请求参数 是动态的，我没有进行分析，试了一下，能拿到数据，你看一下
要是这个参数有时效性 ，就需要 ...

大神，能告诉我这里涉及到什么知识点吗，就是关于你说的动态参数和分析源代码这两部分？
我去学习一下，感谢啊！

wp231957 发表于 2021-6-17 11:21:22

不分南北东西 发表于 2021-6-17 11:11
大神，能告诉我这里涉及到什么知识点吗，就是关于你说的动态参数和分析源代码这两部分？
我去学习一下， ...

动态参数基本都涉及到加密
需要你了解一些常见加密算法
需要你对Js有一定程度的研究
还要会一些调试手段
最后还要有耐心，因为逆反js是相当枯燥的
再最后，我也处于学习阶段，很多网站我也逆不了
页: [1]
查看完整版本: 哈弗经销商数据爬取-python