简单爬虫，爬取王者荣耀英雄皮肤

wildpants

1. import urllib.request
   
2. import re
   
3. import random
   
4. import os
   
5. import time
   
6. 
   
7. def url_open(url):
   
8.     '''
   
9.     listip = ['117.94.213.165:8118','119.179.136.97:8060','114.228.73.217:6666']
   
10.    
    
11.     proxy_support = urllib.request.ProxyHandler({'http':random.choice(listip)})
    
12. 
    
13.     opener = urllib.request.build_opener(proxy_support)
    
14.     opener.addheaders = [('User-Agent',' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')]
    
15.     urllib.request.install_opener(opener)
    
16.     '''
    
17.     #这一部分使用的代理，我用着太慢，就没使了
    
18.     req = urllib.request.Request(url)
    
19.     req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')
    
20.     response = urllib.request.urlopen(req)
    
21.     html = response.read()
    
22.     return html
    
23. 
    
24. def make_file(url):
    
25.     html = url_open(url).decode('gbk')
    
26.     a = html.find("cover-name") + 12
    
27.     b = html.find('</h2>')
    
28.     name = html[a:b]
    
29.     os.mkdir(name)
    
30.     os.chdir(name)
    
31.     save_hero(url)
    
32.     os.chdir(path = "..")
    
33. 
    
34. def save_hero(url):
    
35.     html = url_open(url).decode("gbk")
    
36.     a = re.findall(r'game.gtimg.cn/.+hero-info/\d{3}/\d{3}-bigskin-.\.jpg',html)
    
37.     a = a[0]
    
38.     for i in range(1,7):
    
39.         a = a[:67] + str(i) + a[68:]
    
40.         img_url = "http://" + a
    
41.         file_name = img_url.split('/')[-1]
    
42.         try:
    
43.             imghtml = url_open(img_url)
    
44.             with open(file_name,'wb') as f:
    
45.                 f.write(imghtml)
    
46.         except:
    
47.             break
    
48.    
    
49. 
    
50.    
    
51. def heropic(folder = 'herolist'):
    
52.     os.mkdir(folder)
    
53.     os.chdir(folder)
    
54.    
    
55.     url = 'https://pvp.qq.com/web201605/herolist.shtml'
    
56.     html = url_open(url).decode("gbk")
    
57.     herolist = re.findall(r'herodetail/\d\d\d\.shtml',html)
    
58.     herodetail = []
    
59.     for i in range(len(herolist)):
    
60.         herodetail.append( 'https://pvp.qq.com/web201605/' + herolist[i])
    
61.     for j in range(len(herodetail)):
    
62.         make_file(herodetail[j])
    
63. 
    
64. if __name__ == "__main__":
    
65.     heropic()

复制代码

模仿着小甲鱼的爬虫写了一下，可能有一些代码冗余

还有就是在源代码没看到前五个英雄的链接，所以只能爬93个英雄的皮肤

关于这点我也不知道咋办，希望有大佬指导下

wwdfq

嘻嘻嘻嘻嘻嘻嘻学习

su9910

楼主无敌于世间

霸气的替加环素

小白路过，学习学习

zenglxiao

新手上路学习学习

zzzmade1

666

EDX

哈

学习的狗子

呃呃呃呃呃

hy200107

学习学习

Jawet

瞅一瞅

蟒蛇菌

想见识一下

hoholeilyy0312

涨涨见识

guano

Yangzb

看看拉

overxxss

学习学习

阿迪克斯的女儿

学习

loveQQW

无敌

15972156903

厉害啊

寂静偶

回复学习学习

夏夜飞雪

是只能看的那种吗