第一次交作业，妹子图爬取

君王的君

看老污龟旧版视频学习的python，研究了不少时间，终于鼓捣出了我的第一个爬虫程序，加了随机延迟，太快会被封，话不多说，源码贴上

1. import requests
   
2. import re
   
3. import random
   
4. import time
   
5. import os
   
6. proxy = [
   
7.     {'https': '47.99.236.251:3128'},            #未启用
   
8.     {'https': '1.197.16.250:9999'},
   
9.     {'https': '123.163.96.235:9999'},
   
10.     {'https': '202.183.32.182:80'},
    
11.     {'https': '113.194.31.21:9999'}]
    
12. header = [   
    
13. {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.17 Safari/537.36'},
    
14. {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1'},
    
15. {'user-agent':'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.36 edge/16.16299'}
    
16. ]
    
17. def ym (http,referer):      #返回妹子图源码
    
18.     headers=random.choice(header)
    
19.     headers['Referer'] = '{}'.format(referer)
    
20.    
    
21.    
    
22.     re=requests.get(url=http,headers=random.choice(header))
    
23.    
    
24.     return re.text
    
25. def bcwj(wname,http,referer):         #保存文件,需要在headers中间加入referer
    
26.     headers=random.choice(header)
    
27.     headers['Referer'] = '{}'.format(referer)
    
28.     name=http.split('/')[-1]
    
29.     time.sleep(random.randint(1,8))
    
30.     r=requests.get(http,headers=headers)
    
31.     filename=wname+'\\'+name
    
32.     with open(filename,'wb') as f:
    
33.         f.write(r.content)
    
34.     print(headers,name,'下载成功')
    
35. 
    
36. def ppzpz(ym):      #匹配源码中照片组,返回list
    
37.     zpz=re.findall(r'<li><a href="(https://www.mzitu.com/\d{4,7})',ym)
    
38.     return zpz  
    
39. 
    
40. def ppjpg(ym2):      #返回jpg下载链接
    
41.     jpg=re.findall(r'https://i3.mmzztt.com/\d+/\d+/.{1,6}.jpg',ym2)
    
42.     return jpg
    
43. def ppjpg2(ym2):      #返回jpg下载链接
    
44.     jpg=re.findall(r'https://i\d{0,1}.mmzztt.com/\d+/\d+/.{1,6}.jpg',ym2)
    
45.     return jpg
    
46. def fhys(aa):       #返回照片组中的最大页数
    
47.     ys=re.findall(r'<span>(\d{1,2})</span>',aa)
    
48.     return ys
    
49. def ppwjj(httpjpg):                 #给一个jpg链接,注意返回的是list
    
50.     y=ym(httpjpg,httpjpg)
    
51.     wname=re.findall(r'content="(.*?)- 第',y)
    
52.     return wname
    
53. ys=input('请输入爬取的页数(建议10):')
    
54. for i in range(2,int(ys)):      #首页,首页中有24组照片
    
55.     time.sleep(random.randint(8,15))
    
56.     print(i)
    
57.     a=('https://www.mzitu.com/page/%s/') % i
    
58.     zpz=ppzpz(ym(a,a))      #首页上的照片组列表
    
59.     print(zpz)
    
60.     for n in zpz:                   #循环有几个照片组
    
61.         wname=ppwjj(n)[0]
    
62.         wname=wname.rstrip()
    
63.         try:
    
64.             os.mkdir(wname)
    
65.         except Exception:
    
66.             print('文件夹已存在')
    
67.         #print(n,wname)
    
68.         try:
    
69.             yss=int(fhys(ym(n,n))[-1])      #这个照片组中的妹子有几张jpg(页数)
    
70.         except Exception:
    
71.             print('第一次循环未获取到页数')
    
72.             continue
    
73.         time.sleep(random.randint(5,11))
    
74.         for ii in range(0,yss):          #循环一个照片组中的jpg,然后保存到本地
    
75.             time.sleep(3)
    
76.             a=(n+'/%s' )% ii
    
77.             #print(a)
    
78.             try:
    
79.                 y=ym(a,i)
    
80.                 jpg=ppjpg2(y)[0]
    
81.             except Exception:
    
82.                 print('获取jpg异常,跳过本次循环(jpg,源码):\n',y)
    
83.                 continue
    
84.             print(jpg)
    
85.             try:
    
86.                 bcwj(wname,jpg,i)
    
87.             except Exception:
    
88.                 print(',保存文件出现异常')
    
89.                 continue

复制代码

         
            

Hello.

老污龟。。。。

heidern0612

妹子图天天招谁惹谁了，天天被人爬

xinlong96