32行代码爬取妹子图全系图片

admintest166

32行代码主要是妹子图这个网站的翻页机制 给了很大的便利  细致化的内容 可以自行观察一下代码和网站的结构就可以看出来

之前发过pyspider框架的爬取妹子图 但如果不去阅读源代码很难知道其原理

因为最近在写php的代码 对python有些生疏了 感谢“疾风怪盗” 给予的技术上的帮助

没有对图片进行文件夹分类 运行速度上也比较慢

1. import requests
   
2. from pyquery import PyQuery as pq
   
3. 
   
4. headers={
   
5.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
   
6. }
   
7. #存储翻页的列表
   
8. lis = []
   
9. #解析具体地址中的图片URL抓取
   
10. def picture(url):
    
11.     while True:
    
12.         lis.append(url)
    
13.         request_two = requests.get(lis[0], headers=headers).text
    
14.         # 图片下载
    
15.         doc = pq(request_two)
    
16.         image = doc('.main-image').find('img').attr('src')
    
17.         img_file = image[32:]
    
18.         headerse = {
    
19.             'Host': 'hm.baidu.com',
    
20.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
    
21.         }
    
22.         request_dowm = requests.get(url=image, headers=headerse).content
    
23.         with open(img_file, 'wb')as file:
    
24.             file.write(request_dowm)
    
25.             print('保存完毕')
    
26.         lis.clear()
    
27.         # 翻页
    
28.         doc = pq(request_two)
    
29.         page = doc('.pagenavi').find('a').eq(-1).attr.href
    
30.         lis.append(page)
    
31.         print(lis)
    
32. picture('https://www.mzitu.com/247153')

复制代码