我修改了妹子图爬虫，只爬一组套图

mynfqc

从实用的角度讲，我并不希望无差别爬图，只希望把浏览喜欢的套图存下来
以前在尤果还买过几套图，以后都白嫖了哈哈

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. import time
   
5. 
   
6. # 从www.mzitu.com下载一组套图
   
7. def crawl_pic_set(dir, headers, set_url):
   
8.     # print(file_name)
   
9.     print('正在请求 ' + str(set_url))
   
10.     html = requests.get(set_url, headers=headers).text
    
11.     print('正在解析...')
    
12.     soup = BeautifulSoup(html, 'lxml')
    
13.     for content in soup.select('.content'):
    
14.         img_total = int(content.find(class_='pagenavi').select('span')[-2].string)
    
15.         print('共' + str(img_total) + '张\n')
    
16.         for i in range(1, img_total + 1):
    
17.             pic_url = set_url + "/" + str(i)
    
18.             print('当前进度 ' + str(i) + '/' + str(img_total) + '\n')
    
19.             # dir_path = dir + file_name
    
20.             image_path = dir + '/' + str(i) + '.jpg'
    
21.             print('检查文件是否存在 ' + image_path)
    
22.             if (not os.path.exists(image_path)) or os.path.getsize(image_path) < 1024:
    
23.                 soup = BeautifulSoup(requests.get(pic_url, headers=headers).text, 'lxml')
    
24.                 # 访问太频繁会被屏蔽
    
25.                 time.sleep(1)
    
26.                 main_image = soup.find(class_='main-image')
    
27.                 if main_image == None:
    
28.                     print(soup)
    
29.                     continue
    
30.                 image_src = main_image.find('img').get('src')
    
31.                 print('请求图片地址 ' + str(image_src))
    
32.                 print('文件下载... ')
    
33.                 image_content = requests.get(image_src, headers=headers).content
    
34.                 print('下载成功')
    
35.                 print('检查文件夹是否存在 ' + dir)
    
36.                 if not os.path.exists(dir):
    
37.                     print('创建文件夹 ' + dir)
    
38.                     os.makedirs(dir)
    
39.                 else:
    
40.                     print('文件夹已存在')
    
41.                 print('存入磁盘...')
    
42.                 with open(image_path, 'wb') as f:
    
43.                     f.write(image_content)
    
44.                     print('存放完成\n')
    
45.                     f.close()
    
46.             else:
    
47.                 print('文件已存在，无需重复下载\n')
    
48. 
    
49. 
    
50. def main():
    
51.     # 存套图的目录名
    
52.      dir = 'E:/妹子图/尤果 杜小雨'
    
53.     # 套图url
    
54.      set_url = "https://www.mzitu.com/114919"
    
55.      print('图片保存地址 ' + str(dir))
    
56.      home_url = 'https://www.mzitu.com'
    
57.      headers = {
    
58.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36 Edg/80.0.361.62',
    
59.         'Referer': home_url}
    
60.      crawl_pic_set(dir, headers, set_url)
    
61. 
    
62. 
    
63. if __name__ == "__main__":
    
64.     main()

复制代码