[已解决]妹子图爬虫出现FileNotFoundError: [Errno 2] No such file or directory

lovecnlsao

这是自己模仿写的，要求只爬取第一页的写真，每套50页，但不知道为什么总是在最后出现FileNotFoundError: [Errno 2] No such file or directory: '2020/02/01a01.jpg'
求助大神指导一下

思路如下：
①获取首页每套写真的地址，逐个打开。

②打开后可以看到图片的具体地址，于是构造出图片1到50页的地址。

③打开图片地址，写入并保存文件。

1. import urllib.request
   
2. import os
   
3. import re
   
4. import ssl
   
5. ssl._create_default_https_context = ssl._create_unverified_context
   
6. 
   
7. def url_open(url):
   
8.     headers = {
   
9.             'Referer':'https://mzitu.com/',
   
10.             'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
    
11.         }
    
12.     req = urllib.request.Request(url, headers=headers)
    
13.     response = urllib.request.urlopen(req)
    
14.    
    
15.    html = response.read()
    
16. 
    
17.     return html
    
18. 
    
19. #————————————————————————————————————————————————————————————————————————————   
    
20. 
    
21. def get_href(url):
    
22.     html = url_open(url).decode('utf-8')
    
23. 
    
24.     p = r'https://www.mzitu.com/(\d+)'                    #在首页抽取出每套写真的地址，如’http://mzitu.com/221852‘，后面的数字是我想要的。
    
25.     href_set = re.findall(p, html)
    
26.                                  
    
27.     return href_set                                                #列表内的内容是首页多个写真的路径，如['221852', '10320']。
    
28.    
    
29. 
    
30. def find_imgURL(url):
    
31.    
    
32.     html = url_open(url).decode('utf-8')                                      #以打开第一套https://www.mzitu.com/221852为例。
    
33.                                                                                             #打开后第一张图片的具体地址是：'https://i5.mmzztt.com/2020/02/01a01.jpg'。                                                           
    
34.     p = r'https://i5.mmzztt.com/(\d+/\d+/\d+[a-z])\d+\.jpg'        #抽取地址，格式是https://i5.mmzztt.com/年/月/日+字母+页码.jpg，不同写真之间有区别的部分是(年/月/日期+字母)，所以提取出来，页码在下面填充。
    
35.     code = re.findall(p, html)                                                       #code内是提取出来的像'2020/02/01a'不带页码的部分。
    
36.                                                                         
    
37.     page_fullcode = []
    
38.     for x in range(len(code)):
    
39.         for i in range(51):                                                                #这里是为了给code添加最后的页码，变成'2020/02/08a01’，每套写真只爬取前50张图。
    
40.             if i < 10:                  
    
41.                 page_fullcode.append(code[x] + '0' + str(i))
    
42.                
    
43.             else:
    
44.                 page_fullcode.append(code[x] + str(i))
    
45. 
    
46. 
    
47.     imgURL = []
    
48.     for i in page_fullcode:
    
49.         imgURL.append('https://i5.mmzztt.com/' + i + '.jpg')                #构造出1到50页的图片地址如’https://i5.mmzztt.com/2020/02/01a01.jpg‘
    
50.    
    
51.     return imgURL
    
52.    
    
53. 
    
54. def save_img(folder, imgURL):
    
55.     for each in imgURL:
    
56.         file_name = each.split('/',3)[3]                                                #文件名是‘2020/02/01a01.jpg’的格式
    
57.         with open(file_name, 'wb') as f:                                                #提示出错的位置 with open (file_name, 'wb') as f:FileNotFoundError: [Errno 2] No such file or directory: '2020/02/01a01.jpg'
    
58.             img = url_open(each)
    
59.             f.write(img)
    
60. 
    
61. 
    
62. #————————————————————————————————————————————————————————————————————————————————   
    
63. 
    
64. def main(folder = 'Girls'):
    
65.     os.mkdir(folder)
    
66.     os.chdir(folder)
    
67. 
    
68.     url = 'http://mzitu.com/'
    
69. 
    
70.     href_set = get_href(url)            
    
71.         
    
72.     for each in href_set:              
    
73.         sub_url = url + each
    
74. 
    
75.         imgURL = find_imgURL(sub_url)      
    
76.    
    
77.         save_img(folder, imgURL)
    
78. 
    
79. 
    
80. if __name__ == '__main__':
    
81.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

wp231957

2020-2-13 16:24:13

lovecnlsao 发表于 2020-2-13 16:21
求指导一下

文件名里怎么可能有/呢

跳转到最佳答案楼层

lovecnlsao

求指导一下

wp231957

lovecnlsao 发表于 2020-2-13 16:21
求指导一下

文件名里怎么可能有/呢

lovecnlsao

wp231957 发表于 2020-2-13 16:24
文件名里怎么可能有/呢

这个...因为不是windows还以为可以，属实蠢了点

wp231957

lovecnlsao 发表于 2020-2-13 16:29
这个...因为不是windows还以为可以，属实蠢了点

linux也不行啊，估计mac也不行