自己做的一个爬取煎蛋网海量女装照片，可选择本地保存地址，注释详细

Prusuit

1. import urllib.request
   
2. import chardet
   
3. import os
   
4. import random
   
5. import easygui
   
6. 
   
7. 
   
8. def build_opener():
   
9.     #  这些IP都是我在网上搜的，检查的时候发现许多都用不了，所以在主函数上把这个函数注释掉了，大家有好的IP可以自己切换
   
10.     ip_list1 = ['210.26.124.143:808', '106.75.226.36:808', '125.62.26.197:3128', '120.92.74.189:3128',
    
11.                 '113.200.56.13:8010']
    
12.     proxy_support = urllib.request.ProxyHandler({'https': random.choice(ip_list1)})
    
13.     opener = urllib.request.build_opener(proxy_support)
    
14.     urllib.request.install_opener(opener)
    
15. 
    
16. 
    
17. def find_picture(html):
    
18.     """此函数用来找到网页中所有照片的网站，并返回一个携带有所有网址的代码"""
    
19.     picture_list = []
    
20.     a = 0
    
21.     b = 0
    
22.     while b != -1:
    
23. 
    
24.         a = html.find('img src=', a) + 9
    
25.         if a == 8:
    
26.             break
    
27.         b = html.find('"', a)
    
28.         picture_list.append(f' http:{html[a:b]}')
    
29.         a = b + 100
    
30. 
    
31.     return picture_list
    
32. 
    
33. 
    
34. def find_next_web(html, number):
    
35.     """此函数返回一个含有已经解码过的网页的列表"""
    
36.     web_list = []
    
37.     while number > 1:
    
38.         a = html.find("current-comment-page") + 43
    
39.         b = html.find(""", a)
    
40.         the_url = "http:" + html[a:b]
    
41. 
    
42.         req = urllib.request.Request(the_url)
    
43.         html = urllib.request.urlopen(req).read()
    
44.         encode = chardet.detect(html)['encoding']
    
45.         html = html.decode(encode)
    
46. 
    
47.         web_list.append(html)
    
48. 
    
49.         # 设立循环限制
    
50.         number -= 1
    
51. 
    
52.     return web_list
    
53. 
    
54. 
    
55. def save_picture(picture_list):
    
56.     """此函数接收一个含有照片网站的列表，将所有照片保存在指定位置"""
    
57.     #  选择所要保存图片的位置
    
58.     target = easygui.diropenbox("请指定您要保存的地址")
    
59. 
    
60.     # 将工作目录切换到指定位置上，并创立一个文件夹，用来存放照片
    
61.     os.chdir(target)
    
62.     os.mkdir('girls_pictures')
    
63.     os.chdir('girls_pictures')
    
64.     n = 0
    
65.     for each in picture_list:
    
66.         response = urllib.request.urlopen(each)
    
67.         picture = response.read()
    
68.         with open(f'girl_{n}.jpg', 'wb') as f:
    
69.             f.write(picture)
    
70.             n += 1
    
71. 
    
72. 
    
73. def download_pictures(url):
    
74.     """主程序，选择需要下载多少页，并选择图片保存位置"""
    
75.     download_page = int(easygui.enterbox("请问您需要下载多少页面的图片"))
    
76.     picture_list = []
    
77. 
    
78.     # 建立虚拟ip，防止同一个IP过于频繁访问被封
    
79.     # build_opener()
    
80. 
    
81.     #  添加请求头中的“User-Agent"来模拟浏览器访问
    
82.     headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
    
83.                              ' AppleWebKit/537.36 (KHTML, like Gecko) '
    
84.                              'Chrome/96.0.4664.110 Safari/537.36'}
    
85. 
    
86.     # 访问最外层网站,再将其解码
    
87.     req = urllib.request.Request(url, headers=headers)
    
88.     html = urllib.request.urlopen(req).read()
    
89.     encode = chardet.detect(html)['encoding']
    
90.     html = html.decode(encode)
    
91. 
    
92.     # 通过find_picture()函数找到其中照片地址存放到一个列表中
    
93.     for each1 in find_picture(html):
    
94.         picture_list.append(each1)
    
95. 
    
96.     # 循环打开下一层页面， 并将所有图片地址都存放到picture_list列表中
    
97.     for each_html in find_next_web(html, download_page):
    
98. 
    
99.         for each in find_picture(each_html):
    
100.             picture_list.append(each)
     
101. 
     
102.     # 将已经收集到的照片地址一个一个打开并存放指定文件夹中
     
103.     save_picture(picture_list)
     
104. 
     
105. 
     
106. if __name__ == "__main__":
     
107.     url = 'https://jandan.net/girl/'
     
108.     download_pictures(url)
     

复制代码