[已解决]新手妹子网爬虫求助-就想从一个已知的网页将图片保存下来，请高手帮忙看看有什么问题

censing

新手妹子网爬虫求助-就想从一个已知的网页将图片保存下来，请高手帮忙看看是有什么问题

1. import requests
   
2. import bs4
   
3. import os
   
4. import re
   
5. 
   
6. def url_open(url):
   
7.     headers = {"user-agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400"}
   
8.     html = requests.get(url,headers=headers)
   
9.     return html
   
10. 
    
11. def find_imgs(url):
    
12.     html = url_open(url)
    
13.     img_addrs= []
    
14.     soup = bs4.BeautifulSoup(html.text,"html.parser")
    
15.     img_url = soup.find(class_='main-image').find('img').get('src')
    
16.     img_addrs.append(img_url)
    
17.     return img_addrs
    
18. 
    
19. def save_imgs(folder,img_addrs):
    
20.     for each in img_addrs:
    
21.         filename =each.split('/')[-1]
    
22.         with open(filename,'wb') as f:
    
23.             img = url_open(each)
    
24.             f.write(img)
    
25. 
    
26. def main(folder='MZT'):
    
27.     os.mkdir(folder)
    
28.     os.chdir(folder)
    
29.    
    
30.     url = "https://www.mzitu.com/205572"
    
31.     img_addrs = find_imgs(url)
    
32.     save_imgs(folder,img_addrs)
    
33. 
    
34. 
    
35. if __name__ == "__main__":
    
36.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2019-10-4 16:59:02

censing 发表于 2019-10-4 16:55
非常感谢您的耐心指导，太谢谢了~
我想请教一下，加content这个是有什么原因吗，另外加了之后，图片下载 ...

因为不能将一个 Response 对象写入到以二进制方式打开的文件中，所以报错。

跳转到最佳答案楼层

zltzlt

在 24 行加上 .content。正确代码如下，Python 3.7.4 亲测不会报错：

1. import requests
   
2. import bs4
   
3. import os
   
4. import re
   
5. 
   
6. def url_open(url):
   
7.     headers = {"user-agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400"}
   
8.     html = requests.get(url,headers=headers)
   
9.     return html
   
10. 
    
11. def find_imgs(url):
    
12.     html = url_open(url)
    
13.     img_addrs= []
    
14.     soup = bs4.BeautifulSoup(html.text,"html.parser")
    
15.     img_url = soup.find(class_='main-image').find('img').get('src')
    
16.     img_addrs.append(img_url)
    
17.     return img_addrs
    
18. 
    
19. def save_imgs(folder,img_addrs):
    
20.     for each in img_addrs:
    
21.         filename =each.split('/')[-1]
    
22.         with open(filename,'wb') as f:
    
23.             img = url_open(each)
    
24.             f.write(img.content)
    
25. 
    
26. def main(folder='MZT'):
    
27.     os.mkdir(folder)
    
28.     os.chdir(folder)
    
29.    
    
30.     url = "https://www.mzitu.com/205572"
    
31.     img_addrs = find_imgs(url)
    
32.     save_imgs(folder,img_addrs)
    
33. 
    
34. 
    
35. if __name__ == "__main__":
    
36.     main()

复制代码

censing

zltzlt 发表于 2019-10-4 16:52
在 24 行加上 .content。正确代码如下，Python 3.7.4 亲测无问题：

非常感谢您的耐心指导，太谢谢了~
我想请教一下，加content这个是有什么原因吗，另外加了之后，图片下载还是空的，请问是代码还有其他问题吗

zltzlt

censing 发表于 2019-10-4 16:55
非常感谢您的耐心指导，太谢谢了~
我想请教一下，加content这个是有什么原因吗，另外加了之后，图片下载 ...

因为不能将一个 Response 对象写入到以二进制方式打开的文件中，所以报错。

censing

zltzlt 发表于 2019-10-4 16:59
因为不能将一个 Response 对象写入到以二进制方式打开的文件中，所以报错。

感谢，感谢，请教这段代码是还是有其他问题吗，下载出来的图片是空的