Python爬虫：十几行代码下载王者荣耀所有皮肤

fatcat01

起因：前两天在公众号上看到一篇文章内容就是爬取王者荣耀的皮肤，但是内容太大概了，如果跟着他做肯定做不出来，所以我打算自己做。

之前接触过爬虫还是几年前爬取豆瓣电台的歌曲，那时候用的C++，json解析还要用第三方库，总之很麻烦。最近接触到了python，深深的感觉这门语言真好。

进入正题：如何爬取王者荣耀的英雄皮肤照片？

分为两步：

• 找到皮肤图片的地址
  
• 下载图片
  
  

1. 寻找皮肤图片地址1.1 找到英雄列表

百度“王者荣耀”进入官网，进入https://pvp.qq.com/ ，按F12进入调试界面，然后按F5刷新界面，图中标识的herolist.json文件就是我们所需要的英雄列表，其中包括英雄编号、英雄名称、英雄类型、皮肤的名称等信息，在文件上右击复制链接 http://pvp.qq.com/web201605/js/herolist.json

                               
登录/注册后可看大图

英雄列表.png

接下来检验一下我们的成果

1. <span style="background-color: rgb(255, 255, 255);"># 代码片段1</span>

复制代码

以上代码读取英雄列表存入hero_json，并获取英雄数量，运行效果如图所示：

                               
登录/注册后可看大图

英雄列表运行结果.png


1.2 找到英雄皮肤地址

点击首页的“游戏资料”标签页，进入新的界面后点击一个英雄头像进入英雄资料界面，此处我们以孙尚香为例：

                               
登录/注册后可看大图

游戏资料.png

                               
登录/注册后可看大图

孙尚香.png

同样F12然后F5，将鼠标在孙尚香几个皮肤上依次扫过，来看看调试窗口

                               
登录/注册后可看大图

孙尚香皮肤.png

可以看到孙尚香的高清皮肤一共6个，同样我们在第一个皮肤上右键复制链接得到：http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/111/111-bigskin-1.jpg ，这就是我们梦寐以求的英雄皮肤链接。

分析一下这个链接，其中“111”是英雄的编号，最后的“1”是该英雄的皮肤编号。到此为止，浏览器已经没有用了，该得到的信息我们都有了。

2. 下载图片
2.1 英雄有几个皮肤

在第一步获取到的herolist.json文件中有“skin_name”字段，我们只要解析这个字段就可以获取皮肤数量和皮肤名称。测试代码（接代码片段1）如下：

1. # 代码片段2
   
2.   hero_name = hero_json[0]['cname']
   
3.   skin_names = hero_json[0]['skin_name'].split('|')
   
4.   skin_num = len(skin_names)
   
5. 
   
6.   print('hero_name: ', hero_name)
   
7.   print('skin_names :', skin_names)
   
8.   print('skin_num: ' + str(skin_num))

复制代码

运行结果如下：

                               
登录/注册后可看大图

廉颇.png

可以看到廉颇一共两个皮肤，皮肤名称分别为：正义轰爆和地狱岩魂。

2.2 下载文件

下载文件用到urlretrieve接口，测试代码如下：

1. for i in range(hero_num):
   
2.       # 获取皮肤名称列表
   
3.     skin_names = hero_json['skin_name'].split('|')
   
4. 
   
5.     for cnt in range(len(skin_names)):
   
6.         save_file_name = 'D:\heroskin\\' + str(hero_json['ename']) + '-' +hero_json['cname']+ '-' +skin_names[cnt] + '.jpg'
   
7.         skin_url = 'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/'+str(hero_json['ename'])+ '/' +str(hero_json['ename'])+'-bigskin-' + str(cnt+1) +'.jpg'
   
8.         urllib.request.urlretrieve(skin_url, save_file_name)

复制代码

来看下结果：

                               
登录/注册后可看大图

皮肤.png

至此224个皮肤全部下载完毕，都是高清图片。

还没有结束，程序有些不完美的地方：

• 如果路径D:\herolist\不存在，则程序运行失败；
• 如果中途下载失败，再次运行程序的时候已经下载过的图片还会再下载一次。
  
  

解决方案：

1. 检查文件是否存在，如果不存在则创建，代码如下

1. # 文件夹不存在则创建
   
2. save_dir = 'D:\heroskin'
   
3. if not os.path.exists(save_dir):
   
4.       os.mkdir(save_dir)

复制代码

2.检查文件是否存在，如果存在则跳过下载，代码如下：

1. if not os.path.exists(save_file_name):
   
2.     urllib.request.urlretrieve(skin_url, save_file_name)

复制代码

至此，大功告成，贴一下完整代码：

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Wed Aug 23 23:12:17 2017
   
4. 
   
5. @author: WangQiang
   
6. """
   
7. import urllib.request
   
8. import json
   
9. import os
   
10. 
    
11. response = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json")
    
12. 
    
13. hero_json = json.loads(response.read())
    
14. hero_num = len(hero_json)
    
15. 
    
16. # 文件夹不存在则创建
    
17. save_dir = 'D:\heroskin\\'
    
18. if not os.path.exists(save_dir):
    
19.     os.mkdir(save_dir)
    
20. 
    
21. for i in range(hero_num):
    
22.     # 获取英雄皮肤列表
    
23.     skin_names = hero_json['skin_name'].split('|')
    
24. 
    
25.     for cnt in range(len(skin_names)):
    
26.         save_file_name = save_dir + str(hero_json['ename']) + '-' +hero_json['cname']+ '-' +skin_names[cnt] + '.jpg'
    
27.         skin_url = 'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/'+str(hero_json['ename'])+ '/' +str(hero_json['ename'])+'-bigskin-' + str(cnt+1) +'.jpg'
    
28. 
    
29.         if not os.path.exists(save_file_name):
    
30.             urllib.request.urlretrieve(skin_url, save_file_name)

复制代码

除去注释和空行，一共16行代码实现了下载王者荣耀所有皮肤的功能，这些皮肤用来当作桌面背景也是极好的！！！体验一下：

                               
登录/注册后可看大图

桌面.png

fatcat01

信任报道，欢迎指教！

新手·ing

厉害！赞！

dragon_xiao

666

Chase_Kas

之前在B站上看到过有这样的视频，没想到你发了

Chase_Kas

不知道是不是版本问题，3.6.4版本无法运行，改了下就没问题了（hero_json是个列表，元素为字典，所以要加上索引号，hero_json[0]['skin_name']）
修改了下：按英雄名称创建文件夹并分类

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Wed Aug 23 23:12:17 2017
   
4. 
   
5. @author: WangQiang
   
6. """
   
7. import urllib.request
   
8. import json
   
9. import os
   
10. 
    
11. response = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json")
    
12. 
    
13. hero_json = json.loads(response.read())
    
14. hero_num = len(hero_json)
    
15. 
    
16. for i in range(hero_num):
    
17. 
    
18.     # 文件夹不存在则创建
    
19.     if not os.path.exists('D:\\heroskin\\'):
    
20.         os.mkdir('D:\\heroskin\\')
    
21.     save_dir = 'D:\\heroskin\\' + hero_json[i]['cname'] + '\\'
    
22.     if not os.path.exists(save_dir):
    
23.         os.mkdir(save_dir)
    
24. 
    
25.     # 获取英雄皮肤列表
    
26.     skin_names = hero_json[i]['skin_name'].split('|')
    
27. 
    
28.     for cnt in range(len(skin_names)):
    
29.         save_file_name = save_dir + hero_json[i]['cname'] + '-' +skin_names[cnt] + '.jpg'
    
30.         skin_url = 'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/'+str(hero_json[i]['ename'])+ '/' +str(hero_json[i]['ename'])+'-bigskin-' + str(cnt+1) +'.jpg'
    
31. 
    
32.         if not os.path.exists(save_file_name):
    
33.             urllib.request.urlretrieve(skin_url, save_file_name)

复制代码

feiguoguo

新手·ing 发表于 2018-4-7 13:16
厉害！赞！

po

fatcat01

Chase_Kas 发表于 2018-4-7 15:05
不知道是不是版本问题，3.6.4版本无法运行，改了下就没问题了（hero_json是个列表，元素为字典，所以要加上 ...

这是去年写的代码了，可能是网站改了吧。

fatcat01

Chase_Kas 发表于 2018-4-7 15:05
不知道是不是版本问题，3.6.4版本无法运行，改了下就没问题了（hero_json是个列表，元素为字典，所以要加上 ...

有兴趣的话关注公众号“C与Python实战”还有一些爬虫，欢迎交流

fatcat01

H404

我把地址改了，这样就能自己直接创建了，不用担心你的顾虑了

1. 
   
2.     # 文件夹不存在则创建
   
3.     if not os.path.exists('C:\\Users\\Administrator\\Desktop\\heroskin\\'):
   
4.         os.mkdir('C:\\Users\\Administrator\\Desktop\\heroskin\\')
   
5.     save_dir = 'C:\\Users\\Administrator\\Desktop\\heroskin\\' + hero_json[i]['cname'] + '\\'
   
6.     if not os.path.exists(save_dir):
   
7.         os.mkdir(save_dir)
   

复制代码