花瓣网解析

wp231957

这是一个动态加载的网页
它的静态内容几乎没啥内容
所以：
1、静态解析的工具全部不能用，包括lxml   bs4 / XPATH 正则  等等
2、分析了很长时间很长时间，发现这个网站几乎都是用json在传送数据
3、今天看了一个视频，他里面是用正则去解析网页源码中的<script>......</script> 之间的内容，然后提取相关的key 这个key值就是图片原型
     可是他的弊端太明显了，根本就爬不了几张图片
4、期间又做了一件蠢事，我幻想着，在自己的本地HTML中 向花瓣服务器发送请求，然后它返给我数据，我就能接收到了，结果呢，你们猜
好了，先上图片

wp231957

1. import requests
   
2. import json
   
3. 
   
4. i=0
   
5. pin="237967229"     #起始pin  需要F12自己慢慢发现
   
6. while True:
   
7.     params={
   
8.         "k78u7sws": "",
   
9.         "max": pin,
   
10.         "limit": "20",
    
11.         "wfl": "1"
    
12.        }
    
13.     headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36",
    
14.               "X-Request": "JSON",                    #这里困扰了我好久好久，具体为，明明服务器返回的是json数据，可是我get到的就是主页那点静态代码
    
15.               "X-Requested-With": "XMLHttpRequest"}   #后来我加了这两个参数，也不知道哪个起了作用，能接到json数据了
    
16.               
    
17.     url="https://huaban.com/explore/shuixiasheying"   #网站有很多系列，我这里选择了水下摄影子页面
    
18.     response=requests.get(url=url,params=params,headers=headers)     #get方式 需要传参一定是params
    
19.     jsondata=(response.json())                #注意，我在这里卡顿了很久很久，因为接不到json数据 你直接这样用  会报错
    
20.     if len(jsondata["pins"])<=0:break         #瀑布流  鼠标拉到最下端 没有新的图片了，pins长度为0 结束循环
    
21.     for x in range(len(jsondata["pins"])):
    
22.         imgurl="https://hbimg.huabanimg.com/"+jsondata["pins"][x]["file"]["key"]     #这个jsondata["pins"][x]["file"]["key"] 狠关键，所有分析，都是为了寻找这个key 图片的原型
    
23.         i+=1
    
24.         imgcontent=requests.get(imgurl)
    
25.         with open(r'/pic/水下摄影/'+jsondata["pins"][x]["file"]["key"]+",jpg", 'wb') as file:
    
26.             print("正在下载第%d张图片，文件名为%s"%(i,jsondata["pins"][x]["file"]["key"]))
    
27.             file.write(imgcontent.content)
    
28.     pin= jsondata["pins"][-1]["pin_id"]   #构建下次循环（也就是下一页）
    
29. print("水下摄影共有%d张图片被下载"%i)

复制代码