爬虫文件写入问题求解

Chihirotlmt

爬取的网页有很多名字一样的图片，怎么将这些名字一样的图片也保存在文件中

isdkz

你可以在保存图片的时候，为每个图片文件命名时添加一个唯一的标识符，比如图片的URL链接中的一部分、图片的哈希值、或者是一个自增的数字。这样可以确保即使有多个名字相同的图片，它们在文件系统中的名字是唯一的，不会发生重复覆盖的情况。这样你就可以将这些名字相同的图片都保存下来了。

Mike_python小

问题：爬取的网页有很多名字一样的图片，怎么将这些名字一样的图片也保存在文件中？

如果你要保存多个同名的图片，可以在保存的文件名中添加一个唯一的标识符，以避免重复的文件名导致文件覆盖。以下是一个示例代码，演示了如何在保存图片时添加唯一标识符：

2. import requests
3. import os
5. # 假设这里有一个包含多个同名图片链接的列表
6. image_urls = [
7.     'http://example.com/image.jpg',
8.     'http://example.com/image.jpg',
9.     'http://example.com/image.jpg'
10. ]
12. # 创建一个文件夹来保存图片
13. folder_name = 'images'
14. os.makedirs(folder_name, exist_ok=True)
16. for url in image_urls:
17.     response = requests.get(url)
18.     # 获取文件名（不含扩展名）
19.     filename = os.path.splitext(os.path.basename(url))[0]
20.     # 获取文件扩展名
21.     extension = os.path.splitext(os.path.basename(url))[1]
22.     # 使用时间戳生成唯一标识符
23.     timestamp = str(int(time.time() * 1000))
24.     # 拼接文件名
25.     filename = f'{filename}_{timestamp}{extension}'
26.     # 拼接保存路径
27.     save_path = os.path.join(folder_name, filename)
28.     with open(save_path, 'wb') as file:
29.         file.write(response.content)
30.         print(f'Saved image {filename} in {folder_name}')

复制代码

在上面的示例中，我们首先创建了一个名为images的文件夹来保存图片。然后，对于每个图片链接，我们提取了文件名和文件扩展名，并使用时间戳生成一个唯一的标识符。最后，我们将文件名、标识符和扩展名拼接在一起，形成最终的文件名。通过这种方式，即使有多个同名的图片，它们也会以不同的文件名保存在images文件夹中。

希望这个示例对你有帮助！如果还有其他问题，请随时提问。

同舟

楼上正解