[已解决]求奥迪官方经销商相关信息python爬虫代码

不分南北东西

各位大神好：

求奥迪官方经销商信息（经销商名称、省份、城市、地址、电话等））代码！
因为我只学过requests和beautifulsoup，如果可以的话，请使用这个，感谢！

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-3-16 00:25:16

1. import re
   
2. import csv
   
3. import requests
   
4. 
   
5. def get_js():
   
6.     url = 'https://contact.audi.cn/dictionary_js/map_dealer.js?v=0.3'
   
7.     res = requests.get(url)
   
8.     js = re.findall(r'var dealers = \[];(.*?)type\[0]', res.text, re.S)[0]
   
9.     return js
   
10. 
    
11. def get_city(js):
    
12.     # 获取省份
    
13.     provinces = re.findall("dprovinces\[\d+\]=\['(\d+)','\w(.*?)'\];", js)
    
14.     province_dic = {code : province_name for code, province_name in provinces}
    
15.     # 获取城市
    
16.     city_infos = re.findall(r"dcitys\['(\d+)'\]=(.*?);", js)
    
17.     citys_dic = {}
    
18.     for city_info in city_infos:
    
19.         c_code, citys = city_info
    
20.         cit = {city[0]: city[1][2:] for city in eval(citys)}
    
21.         citys_dic.update({province_dic[c_code]: cit})
    
22.     return citys_dic
    
23. 
    
24. def get_distributor(js, citys_dic):
    
25.     # 获取经销商信息
    
26.     distributor_infos = re.findall(r"dealers\['(\d+)'\]=(.*?);", js)
    
27.     distributor_dic = {}
    
28.     distributor_lis = []
    
29.     for distributor_info in distributor_infos:
    
30.         codes, infos = distributor_info
    
31.         province = ''
    
32.         city = ''
    
33.         for k,v in citys_dic.items():
    
34.             for kk,vv in v.items():
    
35.                 if codes == kk:
    
36.                     province = k
    
37.                     city = vv
    
38.                     break
    
39.         for info in eval(infos):
    
40.             distributor_name = info[1]
    
41.             distributor_add = info[4]
    
42.             distributor_tel = f'{info[-1]}-{info[3]}'
    
43.             distributor_lis.append([province, city, distributor_name, distributor_add, distributor_tel])
    
44.     return distributor_lis
    
45. 
    
46. def save(item):
    
47.     # 保存
    
48.     with open('audi.csv', 'a', newline='') as f:
    
49.         writer = csv.writer(f)
    
50.         writer.writerow(['省份', '城市', '经销商', '地址', '联系方式'])
    
51.         writer.writerows(item)
    
52.     print('保存完成')
    
53. 
    
54. if __name__ == '__main__':
    
55.     js_code = get_js()
    
56.     city_info = get_city(js_code)
    
57.     distributor_lis = get_distributor(js_code, city_info)
    
58.     save(distributor_lis)

复制代码

跳转到最佳答案楼层

柿子饼同学

网站发一下

不分南北东西

柿子饼同学 发表于 2021-3-15 10:44
网站发一下

https://contact.audi.cn/dealer_procity.html

柿子饼同学

这有点南，我尽力了首先，要知道所有的代码在哪，可以从文件入手，如图0.这就找到了
然后按照网址进入     【传送门】   
你看看它的源码图1
代码如下

1. import re
   
2. import requests as r
   
3. 
   
4. headers={"User-Agent":
   
5.         "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0"}
   
6. url = 'https://contact.audi.cn/dictionary_js/map_dealer.js?v=0.3'
   
7. 
   
8. res = r.get(url,headers=headers)
   
9. res.encoding                                               #解码，不然是繁体字
   
10. l = re.findall(r'dealers.+]', res.text)

复制代码

这里只好用正则，不然没法弄然后得到一个列表，里面就是一切信息，不过我后面也化简不了了，只能先这样了
然后就是你为什么要爬这个网站，用课上教的例子随便写写它不香吗ε=( o｀ω′)ノ

YunGuo

1. import re
   
2. import csv
   
3. import requests
   
4. 
   
5. def get_js():
   
6.     url = 'https://contact.audi.cn/dictionary_js/map_dealer.js?v=0.3'
   
7.     res = requests.get(url)
   
8.     js = re.findall(r'var dealers = \[];(.*?)type\[0]', res.text, re.S)[0]
   
9.     return js
   
10. 
    
11. def get_city(js):
    
12.     # 获取省份
    
13.     provinces = re.findall("dprovinces\[\d+\]=\['(\d+)','\w(.*?)'\];", js)
    
14.     province_dic = {code : province_name for code, province_name in provinces}
    
15.     # 获取城市
    
16.     city_infos = re.findall(r"dcitys\['(\d+)'\]=(.*?);", js)
    
17.     citys_dic = {}
    
18.     for city_info in city_infos:
    
19.         c_code, citys = city_info
    
20.         cit = {city[0]: city[1][2:] for city in eval(citys)}
    
21.         citys_dic.update({province_dic[c_code]: cit})
    
22.     return citys_dic
    
23. 
    
24. def get_distributor(js, citys_dic):
    
25.     # 获取经销商信息
    
26.     distributor_infos = re.findall(r"dealers\['(\d+)'\]=(.*?);", js)
    
27.     distributor_dic = {}
    
28.     distributor_lis = []
    
29.     for distributor_info in distributor_infos:
    
30.         codes, infos = distributor_info
    
31.         province = ''
    
32.         city = ''
    
33.         for k,v in citys_dic.items():
    
34.             for kk,vv in v.items():
    
35.                 if codes == kk:
    
36.                     province = k
    
37.                     city = vv
    
38.                     break
    
39.         for info in eval(infos):
    
40.             distributor_name = info[1]
    
41.             distributor_add = info[4]
    
42.             distributor_tel = f'{info[-1]}-{info[3]}'
    
43.             distributor_lis.append([province, city, distributor_name, distributor_add, distributor_tel])
    
44.     return distributor_lis
    
45. 
    
46. def save(item):
    
47.     # 保存
    
48.     with open('audi.csv', 'a', newline='') as f:
    
49.         writer = csv.writer(f)
    
50.         writer.writerow(['省份', '城市', '经销商', '地址', '联系方式'])
    
51.         writer.writerows(item)
    
52.     print('保存完成')
    
53. 
    
54. if __name__ == '__main__':
    
55.     js_code = get_js()
    
56.     city_info = get_city(js_code)
    
57.     distributor_lis = get_distributor(js_code, city_info)
    
58.     save(distributor_lis)

复制代码

不分南北东西

柿子饼同学 发表于 2021-3-15 15:09
这有点南，我尽力了首先，要知道所有的代码在哪，可以从文件入手，如图0.这就找到了
然后按照网 ...

谢谢大神，因为实际当中需要用这个，自己在爬取的时候，感觉书上的都用不到，挫败感十足。。。

不分南北东西

YunGuo 发表于 2021-3-16 00:25

我刚才在pycharm上试了一下，还没有通过，不过先给最佳答案了，大神！

YunGuo

不分南北东西 发表于 2021-3-16 09:09
我刚才在pycharm上试了一下，还没有通过，不过先给最佳答案了，大神！

我运行没有问题。你运行如果有问题，可以把报错信息发给我看看。
另外，之前在复制代码的时候漏了一个引入requests库，上面代码已经重新编辑补上。

不分南北东西

YunGuo 发表于 2021-3-16 15:08
我运行没有问题。你运行如果有问题，可以把报错信息发给我看看。
另外，之前在复制代码的时候漏了一个 ...

运行没有问题了，大神，感谢

不分南北东西

YunGuo 发表于 2021-3-16 15:08
我运行没有问题。你运行如果有问题，可以把报错信息发给我看看。
另外，之前在复制代码的时候漏了一个 ...

大神，你好：
今年3月份的时候，我发子一个求奥迪官方经销商相关信息代码的帖子，当时你帮我解决了。我今天复习代码的时候，有一个地方不太明白，再次请教一下，盼答复，感谢！

url = 'https://contact.audi.cn/dictionary_js/map_dealer.js?v=0.3'
    res = requests.get(url)
    js = re.findall(r'var dealers = \[];(.*?)type\[0]', res.text, re.S)[0]
    return js
倒数第二行[0]是什么意思啊（我自行运行了一下，如果没有[0]就不会换行），感谢！

wp231957

不分南北东西 发表于 2021-6-8 10:53
大神，你好：
今年3月份的时候，我发子一个求奥迪官方经销商相关信息代码的帖子，当时你帮我解决了。我 ...

re.findall返回的是一个列表
[0]就是第一个元素

不分南北东西

wp231957 发表于 2021-6-8 11:00
re.findall返回的是一个列表
[0]就是第一个元素

谢谢！！！