【简单爬虫】 爬取妹子图 自动下载 [改进]

伪。

改自： 【作品展示】闲来无事做了个半自动获取妹子图的爬虫

新增：
1.根据套图分类文件夹，将一个套图下载到一个文件夹。
2.自动创建文件夹。
3.自动读取下一页内容。
4.已经下载过的将不再进行下载。

1. # 爬取妹子图
   
2. import requests
   
3. import os
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. MZITU = 'https://www.mzitu.com'
   
7. 
   
8. USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
   
9. 
   
10. HEADERS = {
    
11.     'User-Agent': USER_AGENT,
    
12.     'Referer': MZITU}
    
13. 
    
14. SAVE_PATH = 'D:\妹子图\\'
    
15. 
    
16. 
    
17. def get_request(url):
    
18.     res = requests.get(url, headers=HEADERS)
    
19.     print("正在请求 " + url)
    
20.     return res
    
21. 
    
22. 
    
23. def get_request_soup(url):
    
24.     html = get_request(url).text
    
25.     print("正在解析 ")
    
26.     return BeautifulSoup(html, 'lxml')
    
27. 
    
28. 
    
29. def get_girl_list(url):
    
30.     soup = get_request_soup(url)
    
31.     next_url = soup.find(class_='next page-numbers').get('href')
    
32.     girls = soup.find(class_='postlist').select('li')
    
33.     for girl in girls:
    
34.         url = girl.find('a').get('href')
    
35.         name = girl.find('span').find('a').string
    
36.         get_girl_group(url, 1, name)
    
37.     if not next_url == "":
    
38.         get_girl_list(next_url)
    
39. 
    
40. 
    
41. def get_girl_group(url, page, name):
    
42.     soup = get_request_soup(url + "/" + str(page))
    
43.     max_page = int(soup.find(class_='pagenavi').select('span')[-2].string)
    
44.     image = soup.find(class_='main-image').find('img').get('src')
    
45.     save_img(image, name, page)
    
46.     page += 1
    
47.     if page < max_page:
    
48.         get_girl_group(url, page, name)
    
49. 
    
50. 
    
51. # 存储妹子图片到本地
    
52. def save_img(url, file_name, page):
    
53.     file_path = SAVE_PATH + file_name
    
54.     image_path = file_path + "\" + str(page) + ".jpg"
    
55.     print('检查文件是否存在 ' + image_path)
    
56.     if not os.path.exists(image_path):
    
57.         print("文件正在下载...")
    
58.         html = get_request(url).content
    
59.         print("下载成功")
    
60.         print("检查文件夹是否存在")
    
61.         exi = os.path.exists(file_path)
    
62.         if not exi:
    
63.             print("创建文件夹 " + file_name)
    
64.             os.makedirs(file_path)
    
65.         else:
    
66.             print("文件夹已存在 " + file_name)
    
67.         print("存入磁盘中...")
    
68.         f = open(image_path, 'wb')
    
69.         f.write(html)
    
70.         print("存放完成")
    
71.         f.close()
    
72.     else:
    
73.         print("文件已存在，无需重复下载" + image_path)
    
74. 
    
75. 
    
76. get_girl_list(MZITU)

复制代码

伪。

Zynismus

  File "E:/PythonFile/学习/xx.py", line 54
    image_path = file_path + "\" + str(page) + ".jpg"
                                                    ^
SyntaxError: EOL while scanning string literal

还有苹果

请问下 File "E:/学习py资料/尝试搭建服务器/venv/爬图2.py", line 54
    image_path = file_path + "\" + str(page) + ".jpg"
                                                    ^
SyntaxError: EOL while scanning string literal这个是什么意思呢

还有苹果

Zynismus 发表于 2019-12-13 21:13
File "E:/PythonFile/学习/xx.py", line 54
    image_path = file_path + "\" + str(page) + ".jpg"
  ...

我也是遇到这个问题了，你解决了吗？是要建文件夹吗？？？？还是怎么做呢

学Python不开车

这个问题主要是 在于 储存路径的最后一位 不能是,反斜杠'\'，如果是反斜杠就会报错， 即使用反斜杠转义也不行，所以要避免这种写法 ，可以将 SAVE_PATH 改成   SAVE_PATH = 'D://妹子图//'  把54行的 "\"  改成"/"

学Python不开车

还有苹果 发表于 2020-1-10 15:24
我也是遇到这个问题了，你解决了吗？是要建文件夹吗？？？？还是怎么做呢

这个问题主要是 在于 储存路径的最后一位 不能是,反斜杠'\'，如果是反斜杠就会报错， 即使用反斜杠转义也不行，所以要避免这种写法 ，可以将 SAVE_PATH 改成   SAVE_PATH = 'D://妹子图//'  把54行的 "\"  改成"/"

mcxx

AttributeError: 'NoneType' object has no attribute 'select'

一套没下完就出现了这个错误。。。

lvjin250

我正在再改进这个，然后测试时没设置爬取次数，现在给我封IP了，网站都打不开了

livtsy

D:\File\FILE\venv\Scripts\python.exe D:/File/FILE/pythonfile/pythonx/demo04.py
Traceback (most recent call last):
  File "D:/File/FILE/pythonfile/pythonx/demo04.py", line 76, in <module>
    get_girl_list(MZITU)
  File "D:/File/FILE/pythonfile/pythonx/demo04.py", line 30, in get_girl_list
    soup = get_request_soup(url)
  File "D:/File/FILE/pythonfile/pythonx/demo04.py", line 26, in get_request_soup
    return BeautifulSoup(html, 'lxml')
  File "D:\File\FILE\venv\lib\site-packages\bs4\__init__.py", line 225, in __init__
    raise FeatureNotFound(
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
正在请求 https://www.mzitu.com
正在解析

Process finished with exit code 1
我的执行报这个错误什么问题

弱爆了

好像跑不完

wumingcong

AttributeError: 'NoneType' object has no attribute 'select'

Betterman.

No module named 'requests'
这个是什么错误呢？？

学c的sjj

Betterman. 发表于 2021-3-10 21:27
No module named 'requests'
这个是什么错误呢？？

你缺少这个库，去控制版面下呗