爬取mzitu.com/zipai的妹子图

沉好人

爬取妹子图，
根据小甲鱼OOXX改

游客，如果您要查看本帖隐藏内容请回复

沉好人

最近试了一下，原来的版本里正则式匹配不了图片链接了，重新改了一下

1. import requests
   
2. import re
   
3. import os
   
4. import easygui as g
   
5. 
   
6. def get_url(url):
   
7.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
   
8.     req = requests.get(url, headers=headers)
   
9. 
   
10.     return req
    
11. 
    
12. def get_img_url(url1, url2): #图片地址
    
13.     headers = {
    
14.         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0',
    
15.         'referer':url2      
    
16.         }
    
17.     req = requests.get(url1, headers=headers)
    
18. 
    
19.     return req
    
20. 
    
21. def get_page(url):  #共有多少页
    
22.     html = get_url(url).text
    
23.     p = r"page-numbers.+[\d]+/'"
    
24.     page_match = re.findall(p, html)
    
25.     for each in page_match:
    
26.         page = re.sub(r'\D','', each)
    
27.    
    
28.     return page
    
29. 
    
30. def find_picurl(url):   #每一页中的项目url
    
31.    
    
32.     html = get_url(url).text
    
33.     p = r'<li><a href="(https://www.mzitu.com/[\d]+)" target'
    
34.     picurl = re.findall(p, html)
    
35. 
    
36.     return picurl
    
37. 
    
38. def pro_name(url):      #每一页的项目名称
    
39.     html = get_url(url).text
    
40.     p = r"alt='(.+)' width='236'"
    
41.     targets = re.findall(p, html)
    
42. 
    
43.     return targets
    
44.    
    
45. def get_p_page(url):   #每一个项目的页数即图片数
    
46.     html = get_url(url).text
    
47.     p = r'<span>([\d]+)</span>'
    
48.     p_page = re.findall(p, html)
    
49.     for each in p_page:
    
50.         page = each
    
51.    
    
52.     return int(page)
    
53. 
    
54. def find_imgs(url):
    
55.     html = get_url(url).text
    
56.     p = re.search(r'img class="blur" src="(https.+\.jpg)', html)
    
57.     return p.group(1)
    
58. 
    
59. def save_img(url, ref_url):
    
60.     filename = url.split('/')[-1]
    
61.     with open(filename, 'wb') as f:
    
62.         img = get_img_url(url, ref_url).content
    
63.         f.write(img)
    
64.    
    
65. def main():
    
66.     folder = g.diropenbox("请选择存放照片的文件夹")
    
67.     os.listdir(folder)
    
68.     os.chdir(folder)
    
69.    
    
70.     url = "https://www.mzitu.com/xinggan/"
    
71.     page = get_page(url) #总共几页
    
72.     print("总共有{}页".format(page))
    
73.     f = True
    
74.     while f == True:
    
75.         Page = input("请输入下载第几页：")
    
76.         url1 = 'https://www.mzitu.com/xinggan/page/{}/'.format(Page)
    
77.         
    
78.         pic_url = find_picurl(url1)
    
79.         pic_pro = pro_name(url1)
    
80.         num = len(pic_url)   #每一页的项目个数
    
81.         print("第%s页共有%d个项目" % (Page, num))
    
82.         for each in range(1, num+1):
    
83.             print("第%d个项目是：" % each)
    
84.             print(pic_pro[each-1])
    
85.         Num = int(input("请输入需要下载第几个项目："))
    
86.         p_page = get_p_page(pic_url[Num-1])
    
87.         print("共有%d页：" % p_page)
    
88.         for i in range(1,p_page+1):
    
89.             url2 = pic_url[Num-1] + '/' + str(i)   
    
90.             img_addr = find_imgs(url2)
    
91.             print(img_addr)
    
92.             save_img(img_addr, url2)
    
93.         print("下载完毕")
    
94.         ans = input("是否继续下载：输入Y/N")
    
95.         if ans == 'N':
    
96.             f = False
    
97. 
    
98. if __name__ == '__main__':
    
99.     main()
    
100. 
     

复制代码

鱼C小白菜

哈哈

枫语过

小小木马

haha

zyq2000

111

Mr_Shadow

更OOXX过不去了……

Ting0008x

学习学习

785397509

1

蜗牛蜗牛

想学一下

1556151340

22222222222222222222

拼夕夕男孩

1

东尼西贾

111111111

flashice

学习学习

60431207

学习学习

XJYJXYJ

？？？

Calamity

666666666

jjt12

.

cherryguanjun

学习学习

湾区公务员

看看看

狗狗狗狗狗

9999