我又回来啦，有认识我的朋友吗，就是坚持爬妹子图的那个~终于扒下来了，和渔友分享

Stubborn

网页跟新，get_page_name函数获取不到最大页数的值，需要跟正，渔友动起手来吧
把py文件放到，需要保存的文件目录就可以开始扒图片了。刚学习爬虫的渔友可以看看，写的备注很详细，仅供学习参考，请不要下载欣赏，有伤身体。
需要用到的库bs4        lxml                 requests                fake_useragent

关于库的安装，首先打开CMD命令，cd+空格+pyrhon的Scripts目录，如下图，然后使用pip install 库名，例如输入pip install lxml就是安装lxml解析库

1. #_*_coding:utf-8
   
2. import requests,os
   
3. from bs4 import BeautifulSoup
   
4. from fake_useragent import UserAgent
   
5. ua = UserAgent()
   
6. 
   
7. Hostreferer = {
   
8.     'User-Agent': ua.random,
   
9.     'Referer': 'http://www.mzitu.com'
   
10. }
    
11. Picreferer = {
    
12.     'User-Agent': ua.random,
    
13.     'Referer': 'http://i.meizitu.net'
    
14. }
    
15. 
    
16. def get_page_name(url):
    
17.     "获取到图集最大页数和图集介绍"
    
18.     html = get_html(url)
    
19.     soup = BeautifulSoup(html, 'lxml')
    
20.     span = soup.findAll('span')
    
21.     title = soup.find('h2', class_="main-title")
    
22.     return span[10].text, title.text
    
23. 
    
24. 
    
25. def get_html(url):
    
26.     "请求网页函数，获取页面代码"
    
27.     page_data = requests.get(url,headers=Hostreferer)
    
28.     soup_data = page_data.text
    
29.     return soup_data
    
30. 
    
31. def get_img_url(url, name):
    
32.     "获取到图片下载地址"
    
33.     html = get_html(url)
    
34.     soup = BeautifulSoup(html, 'lxml')
    
35.     img_url = soup.find('img', alt= name)
    
36.     return img_url['src']
    
37. 
    
38. def save_img(img_url, count, name):
    
39.     "下载"
    
40.     req = requests.get(img_url, headers=Picreferer)
    
41.     with open(name+'/'+str(count)+'.jpg', 'wb') as f:
    
42.         f.write(req.content)
    
43. 
    
44. def get_Atlas_dict(img_link):
    
45.     "获取到页面的图集URL"
    
46.     soup_data = get_html(img_link)
    
47.     soup_data = BeautifulSoup(soup_data,'html.parser')
    
48.     img_link = soup_data.find_all("span")
    
49.     Atlas_dict = []
    
50.     try:
    
51.         for i in img_link:
    
52.             if i.a == None:
    
53.                 pass
    
54.             else:
    
55.                 #题取出图集的url,因为第一页有总网址，这个得删下，技术不足
    
56.                 if i.a.text == "妹子图":
    
57.                     pass
    
58.                 else:
    
59.                     Atlas_dict.append(i.a["href"])
    
60.     except:
    
61.         pass
    
62.     return Atlas_dict
    
63. 
    
64. 
    
65. if __name__ == "__main__":
    
66.     i = int(input("输入需要下载的页数,一页24个图集："))
    
67.     for each in range(1,i+1):
    
68.         url = "https://www.mzitu.com/page/" + str(each) + "/"
    
69.         img_url_list = get_Atlas_dict(url)
    
70.         for atlas_url in img_url_list:
    
71.             page, name = get_page_name(atlas_url)
    
72.             print("开始下载：{}图集共计{}张".format(name,page))
    
73.             os.mkdir(name)
    
74.             for i in range(1, int(page)+1):
    
75.                 url = atlas_url + "/" + str(i)
    
76.                 img_url = get_img_url(url, name)
    
77.                 save_img(img_url, i, name)
    
78.                 print('保存第' + str(i) + '张图片成功')
    
79.                 if i ==int(page):
    
80.                     print(name+"图集下载完成")

复制代码

Stubborn

@edwinxin 经过我修炼，和百度，终于扒下来了。

yjsx86

看看是什么东西

Stubborn

yjsx86 发表于 2019-1-22 23:02
看看是什么东西

爬虫，爬的好辛苦

13572044595

抱着学习的态度！

Stubborn

13572044595 发表于 2019-1-22 23:09
抱着学习的态度！

仅供学习参考，请不要下载欣赏，有伤身体。

拉了盏灯

看看学习学习

13572044595

为了正常运行代码，我连续安装了 3 个库，终于能运行了，但是。。。。。
报错！
报错！
报错！

Stubborn

13572044595 发表于 2019-1-22 23:19
为了正常运行代码，我连续安装了 3 个库，终于能运行了，但是。。。。。
报错！
报错！

试过可以正常运行啊，不然不会发帖的，我看看下

13572044595

Stubborn 发表于 2019-1-22 23:29
试过可以正常运行啊，不然不会发帖的，我看看下

为什么我报错了，还有你下载保存的路径在哪里？

Stubborn

Stubborn 发表于 2019-1-22 23:29
试过可以正常运行啊，不然不会发帖的，我看看下

fake_useragent，bs4，requests  这三个库安装好了？

Stubborn

13572044595 发表于 2019-1-22 23:30
为什么我报错了，还有你下载保存的路径在哪里？

在哪里运行，下载目录就在哪里，会在牡目录下面新建文件夹（图集名称文件夹存放图片），不大清楚哪里出错了

13572044595

Stubborn 发表于 2019-1-22 23:34
在哪里运行，下载目录就在哪里，会在牡目录下面新建文件夹（图集名称文件夹存放图片），不大清楚哪里出 ...

不知道什么意思，还没学到哪里，算了，我放弃了~

Stubborn

13572044595 发表于 2019-1-22 23:48
不知道什么意思，还没学到哪里，算了，我放弃了~

你安装bs4库直接pip install bs4吗？还是直接pip install BeautifulSoup  再安装下这个 pip install lxml  

13572044595

iwanna 发表于 2019-1-23 00:31
pip install lxml  试试

可以了，谢谢

13572044595

Stubborn 发表于 2019-1-22 23:56
你安装bs4库直接pip install bs4吗？还是直接pip install BeautifulSoup  再安装下这个 pip install lx ...

可以了，谢谢，代码我留着，以后参考

Stubborn

iwanna 发表于 2019-1-23 00:31
pip install lxml  试试

黄天不负苦心人

wangxinyw

学习学习

heidern0612

会隐藏了啊

新手·ing

你终于成功了。。