爬取妹子图 三部曲

学Python不开车

从小甲鱼的ooxx过来的，由于正则表达式过于困难，所有使用了BeautifulSoup
爬取网址 https://www.mzitu.com/  总共做了三步
分别是1、爬取第一页封面 2、爬取所有页封面 3、爬取所有页所有图片
安装模块 打开命令提示簿 pip install + 模块名  如 pip install requests
这里的lxml 可以不用  可以把下面的 lxml 改成 html.parser
最后一步我加了 import time  为了防止爬取过快 被制裁
模块化这一块欠缺太多 大家凑合着看
代码如下

1. #爬取第一页所有图集的封面
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import lxml
   
5. import os
   
6. 
   
7. url = 'https://www.mzitu.com'
   
8. headers ={'Referer':'https://www.mzitu.com',
   
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}
   
10. # 打开网页 解析成BeautifulSoup对象
    
11. def url_open(url):
    
12.         res = requests.get(url,headers=headers)
    
13.         html = res.text
    
14.         soup = BeautifulSoup(html,'lxml')
    
15.         return soup
    
16. #找到图集封面的网址 生成一个列表
    
17. def img_href(url):
    
18.         all_href = []
    
19.         href = url_open(url).find('div',class_='postlist').find_all('img',class_='lazy')
    
20.         for i in href:
    
21.                 all_href.append(i['data-original'])
    
22.         return all_href
    
23. # 保存 图片               
    
24. def save_img(folder,all_href):
    
25.         for href in all_href:
    
26.                 file_name = href.split(r'/')[-1]
    
27.                 #这里不能用url_open(url) 因为第一步解析出的是bs对象 图片需要以二进制写入
    
28.                 #所以这里要先requests.get()然后.content
    
29.                 href = requests.get(href,headers = headers)
    
30.                 with open(file_name,'wb') as f:
    
31.                         img = href.content
    
32.                         f.write(img)
    
33. #在当前目录创建ooxx文件夹，将图片保存到ooxx
    
34. def download_mm(folder='ooxx'):
    
35.         os.mkdir(folder)
    
36.         os.chdir(folder)
    
37.         save_img(folder,img_href(url))
    
38. 
    
39. 
    
40. if __name__ =='__main__':
    
41.         download_mm()

复制代码

第二步

1. #爬取所有页面图集的封面
   
2. 
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. import lxml
   
6. import os
   
7. 
   
8. headers ={'Referer':'https://www.mzitu.com',
   
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}
   
10. # 打开网页 解析成BeautifulSoup对象
    
11. def url_open(url):
    
12.         res = requests.get(url,headers=headers)
    
13.         html = res.text
    
14.         soup = BeautifulSoup(html,'lxml')
    
15.         return soup
    
16. 
    
17. #找到图集封面的网址 生成一个列表
    
18. def find_imgs(url):
    
19.         img_addrs = []
    
20.         href = url_open(url).find('div',class_='postlist').find_all('img',class_='lazy')
    
21.         for i in href:
    
22.                 img_addrs.append(i['data-original'])
    
23.         return img_addrs
    
24. # 保存 图片               
    
25. def save_img(folder,img_addrs):
    
26.         for href in img_addrs:
    
27.                 file_name = href.split(r'/')[-1]
    
28.                 #这里不能用url_open(url) 因为第一步解析出的是bs对象 图片需要以二进制写入
    
29.                 #所以这里要先requests.get()然后.content
    
30.                 href = requests.get(href,headers = headers)
    
31.                 with open(file_name,'wb') as f:
    
32.                         img = href.content
    
33.                         f.write(img)
    
34. 
    
35. #在当前目录创建ooxx文件夹，将图片保存到ooxx
    
36. def download_mm(folder='ooxx'):
    
37.         os.mkdir(folder)
    
38.         os.chdir(folder)
    
39.         url = 'https://www.mzitu.com'
    
40.         #获取最大页面
    
41.         page_max = url_open(url).find('div',class_='nav-links').find_all('a',class_='page-numbers')[-2].string
    
42. 
    
43.         for i in range(1,int(page_max)+1):
    
44.             page_url = url + '/page/' + str(i) +'/'
    
45.             img_addrs = find_imgs(page_url)
    
46.             save_img(folder,img_addrs)
    
47. 
    
48. if __name__ =='__main__':
    
49.         download_mm()

复制代码

如果大家开车累的话可以去听听音乐 刚学习的爬取音乐https://fishc.com.cn/thread-160123-1-1.html
最后一步

游客，如果您要查看本帖隐藏内容请回复

楠楠不是一米五

咳咳 那个我来审查一下

13835549646

车车，好快的车车

yanghaolina

我是审核员！

greatmaster

顶一顶

1558182394

琉缓节兮安歌

？

pylxy

我是绅士，嗯

trxxdz

车不车的无所谓真的就是想学习！！照片呢？？？

黄泽裕

1556134029

这是什么语言啊

Levin-e

学习学习

学Python不开车

1556134029 发表于 2020-2-28 10:31
这是什么语言啊

python

学Python不开车

trxxdz 发表于 2020-2-28 10:16
车不车的无所谓真的就是想学习！！照片呢？？？

如果只想开（学）车（习） 建议使用第三步代码 可以漂移过弯

xiaomiany

是谁把车门焊死了

1556134029

学Python不开车 发表于 2020-2-28 10:46
python

ok谢谢

你吃枣药丸

学习

柠檬汽水冰

这是用什么软件运行的啊

学Python不开车

柠檬汽水冰 发表于 2020-2-28 11:39
这是用什么软件运行的啊

我用的是vscode   用pycharm 也可以 或者用python 自带的 idle也行

9R科技

审核官：~