（初学）爬妹子图最全程序和最美程序。。爱上爬虫了

ldq5633563

学习爬虫教程，网上资源超多。妹子图是爬虫必学之地。。。正好，学习用之，我觉得就差个GUI或者封装EXE就能传给朋友一起分享了。。。

程序运行开始走起。。。

注意事项：
1、截至目前（2019-06-14），妹子图网站共计有2998组妹子套图...
2、下载一组套图平均约10秒，大小约10M,请合理安排下载组数..
3、将从最新日期的的套图开始下载...
4、本文件将放入 D:/11MM 文件夹下面

请输入需要下载的套图组数：3
开始下载套图： 传统与性感相结合 女模心妍小公主韵味民国风温柔美艳
已建立  D:/11MM/传统与性感相结合 女模心妍小公主韵味民国风温柔美艳 的文件夹
正在下载第1组，本组下有45照片(还剩余1组)

.......
下载任务全部完成!

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. import datetime,time
   
5. 
   
6. class mzitu():
   
7.     global co_sl,m_sl
   
8.     co_sl=0
   
9.     def all_url(self,url):
   
10.         date_day=datetime.date.today()
    
11.         html = self.request(url)##调用request函数把套图地址传进去会返回给我们一个response
    
12.         all_a = BeautifulSoup(html.text, 'lxml').find('div',class_='all').find_all('a')
    
13.         print('''注意事项：
    
14. 1、截至目前（%s），妹子图网站共计有%s组妹子套图...
    
15. 2、下载一组套图平均约10秒，大小约10M,请合理安排下载组数..
    
16. 3、将从最新日期的的套图开始下载...
    
17. 4、本文件将放入 D:/11MM 文件夹下面 \n'''%(date_day,len(all_a) ))
    
18.         self.m_sl=int(input('请输入需要下载的套图组数：'))
    
19.         
    
20.         for a in all_a[1:self.m_sl]:
    
21.             global co_sl
    
22.             co_sl+=1
    
23.             title = a.get_text()
    
24.             print(u'开始下载套图：', title)
    
25.             path = str(title).replace("?",'_')
    
26.             self.mkdir(path) #调用mkdir函数创建文件夹！这儿path代表的是标题title哦！
    
27.             href = a['href']
    
28.             #print(href+ '     这是1')
    
29.             self.html(href)#调用html函数把href参数传递过去！href是啥还记的吧？ 就是套图的地址哦！
    
30. 
    
31.     def html(self,href):#这个函数是处理套图地址获得图片的页面地址
    
32.         html = self.request(href)
    
33.         max_span = BeautifulSoup(html.text,'lxml').find('div',class_='pagenavi').find_all('span')[-2].get_text()
    
34.         print('正在下载第%s组，本组下有%s照片(还剩余%s组等待下载)\n'%(co_sl,max_span,self.m_sl-1-co_sl))
    
35.         for page in range(1,int(max_span)+1):
    
36.             page_url = href +'/' +str(page)
    
37.             #print(page_url+'这是**2')
    
38.             self.img(page_url)
    
39.             
    
40. 
    
41.     def img(self,page_url):#这个函数处理图片页面地址获得图片的实际地址
    
42.         img_html = self.request(page_url)
    
43.         img_url = BeautifulSoup(img_html.text,'lxml').find('div',class_ ='main-image').find('img').get('src')
    
44.         #print(img_url+'这是_url****3')
    
45.         self.save(img_url)
    
46.         
    
47.     def save(self,img_url):
    
48.         name = self.path+'/'+img_url.split('/')[-1]
    
49.         #print(name + '这是4')
    
50.         img = self.request(img_url)
    
51.         img_html = img.content
    
52.         with open(name,'wb') as f:
    
53.             f.write(img_html)
    
54. 
    
55.     def request(self,url):
    
56.         headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
    
57.                       'Referer':'http://i.meizitu.net'}  #加Referer属性是防止盗链图的产生，目的是告诉服务器当前请求是从哪个页面请求过来的
    
58.         content = requests.get(url, headers=headers)
    
59.         return content
    
60. 
    
61.     def mkdir(self, path):
    
62.         self.path = 'D:/11MM/'+ path.strip()
    
63.         isExists = os.path.exists(self.path)
    
64.         if not isExists:
    
65.             os.makedirs(self.path)
    
66.             print(u'已建立 ', self.path, u'的文件夹')
    
67.             return True
    
68.         else:
    
69.             print(self.path, u'的文件夹已存在')
    
70.             return False
    
71. 
    
72. Mzitu = mzitu()
    
73. Mzitu.all_url('http://www.mzitu.com/all')##给函数all_url传入参数
    
74. 
    
75. print('\n下载任务全部完成！')
    
76. print('\n5秒后程序将关闭！')
    
77. time.sleep(5)
    

复制代码

小狼狼头

requests和BeautifulSoup模块在哪

小狼狼头

好吧。。。我用的py3，切换成py2就好了

luoxian

厉害

tianyamingyue

这个运行报错，是因为我装的python3.8版吗？

yuan562320578

小狼狼头 发表于 2019-6-19 18:22
requests和BeautifulSoup模块在哪

网上下载

yuan562320578

tianyamingyue 发表于 2020-1-29 21:32
这个运行报错，是因为我装的python3.8版吗？

没装requests,bueatifulsoup

tianyamingyue

搞好了，请问每个网站需要写不同的代码吗？

yellow_rain

没有bs

爱冒泡的猫

沙发