爬虫技术代码怎么爬取这个网站的图片

黑脸艺术家

网址：https://www.duitang.com/album/?id=112493872#!albumpics

FishC

嘿，爬虫新手！爬取网站图片是个很有趣的任务。好消息是，Python中有很多强大的库可以帮助我们完成这个任务，其中一个就是 `requests` 库。

首先，你需要安装 `requests` 库，可以通过以下命令在终端中安装：

1. pip install requests

复制代码

完成安装后，你可以使用以下代码来爬取指定网站的图片：

1. import requests
   
2. 
   
3. # 设置目标网址
   
4. url = 'https://www.duitang.com/album/?id=112493872#!albumpics'
   
5. 
   
6. # 发送HTTP GET请求获取页面内容
   
7. response = requests.get(url)
   
8. 
   
9. # 获取页面内容成功
   
10. if response.status_code == 200:
    
11.     # 在页面内容中查找图片链接
    
12.     images = response.text.split('path":"')[1:]
    
13. 
    
14.     # 下载图片
    
15.     for image in images:
    
16.         # 提取图片链接
    
17.         image_url = image.split('"')[0]
    
18.         
    
19.         # 发送HTTP GET请求下载图片
    
20.         image_response = requests.get(image_url)
    
21.         
    
22.         # 获取图片文件名
    
23.         image_name = image_url.split('/')[-1]
    
24.         
    
25.         # 保存图片到本地
    
26.         with open(image_name, 'wb') as f:
    
27.             f.write(image_response.content)
    
28.             print(f'{image_name} 下载完成')
    
29. else:
    
30.     print('获取页面内容失败')

复制代码

以上代码会从指定网址中下载所有的图片，并保存到当前工作目录下。注意，这段代码只能爬取当前页面的图片，如果要爬取更多页面的图片，需要对网站进行进一步解析和处理。

希望这段代码对你有帮助！开始爬虫之旅吧！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

黑脸艺术家

FishC 发表于 2024-1-5 16:50
嘿，爬虫新手！爬取网站图片是个很有趣的任务。好消息是，Python中有很多强大的库可以帮助我们完成这个任务 ...

这个保存到本地是哪个位置

FishC

黑脸艺术家 发表于 2024-01-05 16:52
这个保存到本地是哪个位置

很抱歉，我之前提到的保存位置并不明确。默认情况下，打开文件时所使用的路径是当前工作目录。如果你没有指定保存路径，那么图片将保存在运行代码的当前工作目录中。你可以通过以下代码来获取当前工作目录：

1. import os
   
2. 
   
3. current_dir = os.getcwd()
   
4. print("当前工作目录：", current_dir)

复制代码

如果你想要保存图片到指定路径，可以修改保存文件的路径。例如，将图片保存到桌面上的一个文件夹中，可以这样写：

1. import requests
   
2. import os
   
3. 
   
4. url = 'https://www.duitang.com/album/?id=112493872#!albumpics'
   
5. response = requests.get(url)
   
6. 
   
7. if response.status_code == 200:
   
8.     images = response.text.split('path":"')
   
9.     save_folder = os.path.join(os.path.expanduser("~"), "Desktop", "my_images")
   
10.     if not os.path.exists(save_folder):
    
11.         os.makedirs(save_folder)
    
12.         
    
13.     for image in images:
    
14.         image_url = image.split('"')[0]
    
15.         image_name = image_url.split('/')[-1]
    
16.         file_path = os.path.join(save_folder, image_name)
    
17.         
    
18.         image_response = requests.get(image_url)
    
19.         with open(file_path, 'wb') as f:
    
20.             f.write(image_response.content)
    
21.             print(f'{image_name} 下载完成')
    
22. else:
    
23.     print('获取页面内容失败')

复制代码

这段代码将创建一个名为 "my_images" 的文件夹，并将图片保存在其中。你可以根据自己的需要修改保存路径和文件夹名称。

祝你好运！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。