[已解决]爬图片素材失败

jump_p

1. import requests
   
2. from lxml import etree
   
3. 
   
4. class ImageSpider(object):
   
5.     def __init__(self):
   
6.         '''准备url'''
   
7.         self.first_url="https://www.51miz.com/so-sucai/1789243-13-0-0-default/p_{}/"
   
8.         self.headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"}
   
9. 
   
10.     '''发送请求  获取响应'''
    
11.     def get_page(self,url):
    
12.         res=requests.get(url=url,headers=self.headers)
    
13.         html=res.content.decode('utf-8')
    
14.         return html
    
15. 
    
16. 
    
17.     '''解析数据'''
    
18.     def parse_page(self,html):
    
19.         '''创建解析对象'''
    
20.         parse_html = etree.HTML(html)
    
21.         '''获取二级页面链接'''
    
22.         image_src_list = parse_html.xpath('//a[@class="image-box"]/@href')
    
23. 
    
24.         for image_src in image_src_list:
    
25.             print(image_src)
    
26.             html1=self.get_page(image_src)
    
27.             parse_html1=etree.HTML(html1)
    
28.             bimg_url = parse_html1.xpath('//img[@class="previewPic previewPic_0 previewPicSmall_0 show"]/@src')[0]
    
29.             filename = parse_html1.xpath('//div[@class="title fl lh28"]//h1[@class="iftip"]/text()')[0]
    
30.             dirname = "图片1/" + filename[1:] + '.jpg'
    
31.             html2 = requests.get(url="http:"+bimg_url, headers=self.headers).content
    
32.             with open(dirname,'wb') as f:
    
33.                 f.write(html2)
    
34.                 print("%s下载成功"%filename)
    
35. 
    
36.     def main(self):
    
37.         startPage=int(input("起始页:"))
    
38.         endPage=int(input("终止页:"))
    
39.         for page in range(startPage,endPage+1):
    
40.             url = self.first_url.format(page)
    
41.             html = self.get_page(url)
    
42.             #pprint(html)
    
43.             print(url,'aaaa')
    
44.             self.parse_page(html)
    
45. 
    
46. if __name__ == '__main__':
    
47.     imageSpider=ImageSpider()
    
48.     imageSpider.main()

复制代码

要爬的网址是：https://www.51miz.com/
以“鼠年”图片为例，先在检索框检索“鼠年”，然后要爬的PNG类型的图片，如下图：


报错信息如下：

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-6-6 12:48:50

jump_p 发表于 2020-6-6 12:31
那是文件夹的名字啊？我以为是在open里写的，可以自动创建

文件夹不会自动创建的
要么手动创建，要么os.mkdir

跳转到最佳答案楼层

qiuyouzhi

有图片1这个文件夹吗？

jump_p

qiuyouzhi 发表于 2020-6-6 12:30
有图片1这个文件夹吗？

那是文件夹的名字啊？我以为是在open里写的，可以自动创建

qiuyouzhi

jump_p 发表于 2020-6-6 12:31
那是文件夹的名字啊？我以为是在open里写的，可以自动创建

文件夹不会自动创建的
要么手动创建，要么os.mkdir

xiaosi4081

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. if not os.path.exists('图片1'):
   
5.     os.mkdir('图片1')
   
6. class ImageSpider(object):
   
7.     def __init__(self):
   
8.         '''准备url'''
   
9.         self.first_url="https://www.51miz.com/so-sucai/1789243-13-0-0-default/p_{}/"
   
10.         self.headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"}
    
11. 
    
12.     '''发送请求  获取响应'''
    
13.     def get_page(self,url):
    
14.         res=requests.get(url=url,headers=self.headers)
    
15.         html=res.content.decode('utf-8')
    
16.         return html
    
17. 
    
18. 
    
19.     '''解析数据'''
    
20.     def parse_page(self,html):
    
21.         '''创建解析对象'''
    
22.         parse_html = etree.HTML(html)
    
23.         '''获取二级页面链接'''
    
24.         image_src_list = parse_html.xpath('//a[@class="image-box"]/@href')
    
25. 
    
26.         for image_src in image_src_list:
    
27.             print(image_src)
    
28.             html1=self.get_page(image_src)
    
29.             parse_html1=etree.HTML(html1)
    
30.             bimg_url = parse_html1.xpath('//img[@class="previewPic previewPic_0 previewPicSmall_0 show"]/@src')[0]
    
31.             filename = parse_html1.xpath('//div[@class="title fl lh28"]//h1[@class="iftip"]/text()')[0]
    
32.             dirname = "图片1/" + filename[1:] + '.jpg'
    
33.             html2 = requests.get(url="http:"+bimg_url, headers=self.headers).content
    
34.             with open(dirname,'wb') as f:
    
35.                 f.write(html2)
    
36.                 print("%s下载成功"%filename)
    
37. 
    
38.     def main(self):
    
39.         startPage=int(input("起始页:"))
    
40.         endPage=int(input("终止页:"))
    
41.         for page in range(startPage,endPage+1):
    
42.             url = self.first_url.format(page)
    
43.             html = self.get_page(url)
    
44.             #pprint(html)
    
45.             print(url,'aaaa')
    
46.             self.parse_page(html)
    
47. 
    
48. if __name__ == '__main__':
    
49.     imageSpider=ImageSpider()
    
50.     imageSpider.main()
    

复制代码

jump_p

xiaosi4081 发表于 2020-6-6 13:21

感谢！不过楼上先回答了，这次先给他最佳了。