多线程爬取全部王者高清壁纸

H原子

时间：2021.06.08
作者：H原子
分析：
待爬取根网页：https://pvp.qq.com/web201605/wallpaper.shtml###
1）通过浏览器检查元素和网页源代码进行对比，猜测此网页使用了Ajax与web服务器通信，
或者使用了js对页面进行了渲染。

2）通过查找浏览器向目标服务器发出的所有请求，确定是使用了Ajax，
请求包名为：
workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&…267733&iActId=2735&iModuleId=2735&_=1623155585880

URL地址为：
https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0
&page=24&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17102744849148361894_1623155545802
&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1623155585880

响应包URL截图

**注意**
        （1）page参数：page=0表示返回第一页所需的信息，以此类推（创作这篇文章时共有25页）
        （2）jsoncallback参数：指定返回的json格式（实际就是利用该参数的值将json对象括起来），使用时删去该参数
        
3）通过分析响应信息得到：每张壁纸对应有8张图片地址，第1张为展示图片，后7张为不同分辨率的图片
由于响应对内容加密了得到如下URL：
"http%3A%2F%2Fshp%2Eqpic%2Ecn%2Fishow%2F2735122519%2F1545737998%5F%2D888937974%5F13439%5FsProdImgNo%5F6%2Ejpg%2F200"
通过urllib.parse.unquote()解码得：     
'http://shp.qpic.cn/ishow/2735122519/1545737998_-888937974_13439_sProdImgNo_6.jpg/200'

响应内容截图

**注意**
        （1）这里将解码后的URL输入浏览器并不能得到预期的高分辨率图片，需要将末尾数字200改为0
        （2）还可以通过 requests.utlis.unquote():解码
                                        requests.utils.quote():编码

4）读取json格式响应内容，获取图片下载地址，下载保存。

结果展示：
总计有489个主题，每个主题有8张图片，应有4912张，实际有4911，一张下载失败

总文件数截图

保存形式截图

源代码获取：

1. import requests
   
2. import json
   
3. from urllib import parse
   
4. from urllib import request
   
5. import os
   
6. import threading
   
7. from queue import Queue
   
8. 
   
9. 
   
10. #生产者：通过page_queue队列获取页面对应Ajax响应地址，提取所有页面数据，获取壁纸主题名并创建相应文件夹，并将所有的图片下载地址和保存路径加入到imgurl_queue队列中
    
11. class Producer(threading.Thread):
    
12.     def __init__(self,page_queue,imgurl_queue,*args,**kwargs):
    
13.         self.page_queue = page_queue
    
14.         self.imgurl_queue = imgurl_queue
    
15.         super().__init__()
    
16.         
    
17.     def run(self):
    
18.         headers = {
    
19.                 'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    
20.             }
    
21.         while not self.page_queue.empty():
    
22.             try:
    
23.                 response = requests.get(self.page_queue.get(),headers = headers)
    
24.             except:
    
25.                 print('获取页面数据失败')
    
26.             jsondata = json.loads(response.content)
    
27.             datas = jsondata['List']
    
28.             for data in datas:
    
29.                 theme_name = parse.unquote(data['sProdName']).replace(':','').strip()#有些主题名含有英文‘:’或者空格,这类名字不能命名文件夹
    
30.                 theme_name = os.path.join('images',theme_name)
    
31.                 if not os.path.exists(theme_name):#当该主题文件夹未创建时创建（不加这个判断会报出'文件已存在的错误'）
    
32.                     os.mkdir(theme_name)
    
33.                 for x in range(1,9):
    
34.                     imgdict = {}
    
35.                     imgdict['imgurl'] = parse.unquote(data['sProdImgNo_%d'%x])[:-3]+'0'#利用切片将200修改为0
    
36.                     imgdict['imgpath'] = os.path.join(theme_name,'%d.jpg'%x)#图片命名为:x.jpg的格式
    
37.                     self.imgurl_queue.put(imgdict)
    
38. 
    
39. #消费者：通过imgurl_queue队列获取图片下载地址和保存路径，将图片下载至对应路径
    
40. class Consumer(threading.Thread):
    
41.     def __init__(self,imgurl_queue,*args,**kwargs):
    
42.         self.imgurl_queue = imgurl_queue
    
43.         super().__init__()
    
44.         
    
45.     def run(self):
    
46.         while True:
    
47.             try:
    
48.                 img_obj = self.imgurl_queue.get(timeout=10)#队列为空阻塞时，等待10s，超时将触发异常，此时下载完成
    
49.                 imgurl = img_obj.get('imgurl')
    
50.                 imgpath = img_obj.get('imgpath')
    
51.                 try:
    
52.                     request.urlretrieve(imgurl,imgpath)#传递url和下载路径即可完成下载
    
53.                 except:
    
54.                     print('%s图片下载失败' % imgpath)
    
55.             except:
    
56.                 print('所有图片已下载完毕...')
    
57.                 break
    
58. 
    
59. def main():
    
60.     if not os.path.exists('images'):#将所有下载的壁纸都保存在images文件夹下
    
61.         os.mkdir('images')
    
62.    
    
63.     Ajax_url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1623155585880'
    
64.     page_queue = Queue(30)#目前总共有25页，大小为30足够了
    
65.     imgurl_queue = Queue(1000)
    
66.    
    
67.     #将所有页面对应的Ajax响应地址加入到page_queue队列中
    
68.     for i in range(25):
    
69.         page_queue.put(Ajax_url.format(i))
    
70.         
    
71.     #创建生产者线程   
    
72.     for x in range(3):
    
73.         tp = Producer(page_queue,imgurl_queue,name='生产者%d号'%x)
    
74.         tp.start()
    
75. 
    
76.     #创建消费者线程
    
77.     for x in range(5):
    
78.         tc = Consumer(imgurl_queue,name='消费者%d号'%x)
    
79.         tc.start()
    
80.         
    
81. 
    
82.    
    
83. if __name__=='__main__':
    
84.     main()

复制代码

Minecraft程序猿

贴图是个好习惯

我不是第一个

贴图是个好习惯，没图没诱惑

H原子

阿这…，有道理

Sungne_jer

虽然我看不懂，但是我知道这一定很厉害！

wujiale

分析出来才是最难的吧

elitever

支持一下，希望楼主做的更好，加油！

hornwong

qite1314

很酷很酷，可是看不懂源码。。。。

染上灬网络

亲测，可以下载，如果有显示进度情况就好了。。。

刚打开还以为没有反应。。

H原子

努力学习中，图片和进度条下次一定，感谢大家前来捧场