[已解决]哈弗经销商数据爬取-python

不分南北东西

各位大神好：

  想爬取哈弗官网经销商的相关数据（代号、省份、城市、经销商名称、地址等），请各位大神帮忙，感谢！

  网址：https://www.haval.com.cn/dealerpc/

最佳答案

月排行榜 / 总排行榜

wp231957

2021-6-14 21:09:03

他的请求参数 是动态的，我没有进行分析，试了一下，能拿到数据，你看一下
要是这个参数有时效性 ，就需要分析源代码了，很麻烦的

1. import requests
   
2. 
   
3. url = 'https://cmsmanage-siteapi.gwm.com.cn/dealer/dealer-zh'
   
4. headers = {
   
5.           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
   
6.           }
   
7. data={
   
8.     'd':    "Zm3fO3MWF0Nv5D5sj1iFJEOY7cLDbE+uWdA7AjkS7LiHx9SoyT7AMSgbfkjq339W1PVZ5emfHrLO/RkDd23Dh2mzkEATjK+zQuukcturg3ZPQIk3dmodtxyvfI1iXYztpMXIXpI6TH6MkieKmxur4XYa2LwoEHOyXPE0k2LTYG0=BDP8J8hszWQE1qsuGLVJRCpg1wTEYGnRg7F4nqdYVBoCrvd+aWjukr4auhpk3MNDCi6Aea2SmeluaooXoCRi+JtzNLNSRvPDGCdgyq0Tr9pjBtIO6iK2vd75Ma8HIwGnWN4SRPk/Sg+SPg5Umhhp9bx4bR9jwJ6T7ugX/6mVKCI=",
   
9.     'sign': "d6f9558d65d9a7be16ba8959724d1bc7",
   
10.     't':    '1623830968'
    
11. }
    
12. res=requests.post(url=url,headers=headers,data=data).json()["data"]
    
13. 
    
14. print(len(res))
    
15. for x in res:
    
16.     print(x)
    

复制代码

跳转到最佳答案楼层

wp231957

他的请求参数 是动态的，我没有进行分析，试了一下，能拿到数据，你看一下
要是这个参数有时效性 ，就需要分析源代码了，很麻烦的

1. import requests
   
2. 
   
3. url = 'https://cmsmanage-siteapi.gwm.com.cn/dealer/dealer-zh'
   
4. headers = {
   
5.           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
   
6.           }
   
7. data={
   
8.     'd':    "Zm3fO3MWF0Nv5D5sj1iFJEOY7cLDbE+uWdA7AjkS7LiHx9SoyT7AMSgbfkjq339W1PVZ5emfHrLO/RkDd23Dh2mzkEATjK+zQuukcturg3ZPQIk3dmodtxyvfI1iXYztpMXIXpI6TH6MkieKmxur4XYa2LwoEHOyXPE0k2LTYG0=BDP8J8hszWQE1qsuGLVJRCpg1wTEYGnRg7F4nqdYVBoCrvd+aWjukr4auhpk3MNDCi6Aea2SmeluaooXoCRi+JtzNLNSRvPDGCdgyq0Tr9pjBtIO6iK2vd75Ma8HIwGnWN4SRPk/Sg+SPg5Umhhp9bx4bR9jwJ6T7ugX/6mVKCI=",
   
9.     'sign': "d6f9558d65d9a7be16ba8959724d1bc7",
   
10.     't':    '1623830968'
    
11. }
    
12. res=requests.post(url=url,headers=headers,data=data).json()["data"]
    
13. 
    
14. print(len(res))
    
15. for x in res:
    
16.     print(x)
    

复制代码

不分南北东西

wp231957 发表于 2021-6-14 21:09
他的请求参数 是动态的，我没有进行分析，试了一下，能拿到数据，你看一下
要是这个参数有时效性 ，就需要 ...

大神，能告诉我这里涉及到什么知识点吗，就是关于你说的动态参数和分析源代码这两部分？
我去学习一下，感谢啊！

wp231957

不分南北东西 发表于 2021-6-17 11:11
大神，能告诉我这里涉及到什么知识点吗，就是关于你说的动态参数和分析源代码这两部分？
我去学习一下， ...

动态参数基本都涉及到加密
需要你了解一些常见加密算法
需要你对Js有一定程度的研究
还要会一些调试手段
最后还要有耐心，因为逆反js是相当枯燥的
再最后，我也处于学习阶段，很多网站我也逆不了