学习Tom.Error前辈的Python爬取LOL全英雄技能介绍

孟大大

基于Tom.Error前辈的Python爬取LOL全英雄技能介绍文章写下自己的爬虫

直接将代码贴出来，求各位指点迷津，

1. import requests,time,re
   
2. def now_to_timestamp(digits = 13):#生成13位的时间戳
   
3.             time_stamp = time.time()
   
4.             digits = 10 ** (digits -10)
   
5.             time_stamp = int(round(time_stamp*digits))
   
6.             return time_stamp
   
7. 
   
8. def open_url():
   
9.     headers = {
   
10.         'Referer': 'https://daoju.qq.com/lol/list/shoppinglist.shtml?ADTAG=innercop.lol.SY.shoppinglist_new',
    
11.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}#文件头
    
12.    
    
13.     n=[]
    
14.     for i in range(1,62):#通过查询页面获得共61页
    
15.         print("第" + str(i) + "页")#实时获得当前爬到第几页
    
16.         #通过对比，URL只有page页码和最后的13位时间戳不一致，通过format函数直接生成，并通过for循环遍历访问
    
17.         url = "https://apps.game.qq.com/daoju/v3/api/hx/goods/app/v71/GoodsListApp.php?view=biz_portal&page={}&pageSize=16&orderby=dtShowBegin&ordertype=desc&appSource=pc&plat=1&output_format=jsonp&biz=lol&_={}".format(i,now_to_timestamp(digits = 13))
    
18.         response= requests.get(url, headers=headers).text
    
19.         #基于Tom.Error前辈的Python爬取LOL全英雄技能介绍中了解的编码解码方法，原理还不是很懂，请大神指教
    
20.         res =response.encode("latin-1").decode("unicode_escape")
    
21.         m=re.findall(r'"propName":"(.*?)","busId"', res, re.S)#通过正则表达式获取皮肤的名称
    
22.         n.append(m)#不会在for循环里面保存文件，只能讲获得的结果追加到列表n 中，循环结束之后在进行保存
    
23.         time.sleep(1)#我自己的习惯，每次循环休息1S
    
24. 
    
25. 
    
26. 
    
27. 
    
28.         with open('英雄联盟皮肤列表.txt','a+',encoding = 'utf-8') as f:
    
29.             f.write("第" + str(i) + "页" + '\n' + str(m) + '\n'*3)#保存到英雄联盟皮肤列表.txt当中
    
30. 
    
31.     return res
    
32.    
    
33. 
    
34. 
    
35. 
    
36. open_url()
    
37. 
    
38. 
    
39. 
    
40. '''
    
41. 请大神指教为什么会出现这个错误，但是又不影响运行
    
42. Warning (from warnings module):
    
43.   File "G:\pythonwj\爬取英雄联盟商场的皮肤名称\获取英雄联盟皮肤列表.py", line 20
    
44.     res =response.encode("latin-1").decode("unicode_escape")
    
45. DeprecationWarning: invalid escape sequence '\/'
    
46. '''        
    
47. 
    
48. 
    
49. 
    
50. 
    

复制代码

            

361518619

牛逼

winsome8538

收藏了 有用！

zhangjinxuan

谢谢楼主

zhangjinxuan

再来。。。

zhangjinxuan

zhangjinxuan

zhangjinxuan

我不玩了