新人求指点,爬取妹子图 帮忙优化一下,

简单滴滴

##为了自己看的方便,汉字请自动忽略

1. import requests
   
2. import re
   
3. import os
   
4. import time
   
5. 
   
6. 标签 = {
   
7.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.175.400 QQBrowser/11.1.5155.400'
   
8.     }
   
9. 页数 = 1
   
10. 符号 = '?User-Agent=Mozilla%2F5.0+%28Windows+NT+10.0%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F94.0.4606.71+Safari%2F537.36+Core%2F1.94.175.400+QQBrowser%2F11.1.5155.400'
    
11. while 页数 <= 100:
    
12.     页数 = str(页数)
    
13.     下一页 = 'https://www.vmgirls.com/fresh/page/'+ 页数
    
14.     页数 = int(页数)
    
15.     页数 = 页数 + 1
    
16.     print(页数)
    
17.     一级链接 = requests.get(下一页,标签)
    
18.     time.sleep(1)
    
19.     一级链接 = 一级链接.text
    
20.     二级链接 = re.findall('<a href="(.*?)" title=".*?" class=".*?" >',一级链接)
    
21.     for 三级链接 in 二级链接:
    
22.         time.sleep(2)
    
23.         三级链接 = requests.get(三级链接,标签)
    
24.         三级链接 = 三级链接.text
    
25.         图片链接 = re.findall('<a rel=".*?" href="(.*?)" alt=".*?" title=".*?">',三级链接)
    
26.         文件夹名称 = re.findall('<h1 class="post-title mb-3">(.*?)</h1>',三级链接)[-1]
    
27.         if not os.path.exists (文件夹名称):
    
28.             os.mkdir(文件夹名称)
    
29.         
    
30.         for 下载链接 in 图片链接:
    
31.             time.sleep(2)
    
32.             图片名称 = 下载链接.split('/')[-1]
    
33.             下载链接 = requests.get(下载链接,标签)
    
34.             with open (文件夹名称 + '/' + 图片名称,'wb') as f :
    
35.                 f.write(下载链接.content)
    
36.         
    
37. print('爬取完成')
    
38. 
    
39. 
    
40.         
    
41. 
    
42. 
    
43. 
    

复制代码