爬虫图片保存
怎么将一个网站中很多名字相同的图片也爬取保存在本地 ,文件写入部分代码该怎么写? 你可以使用Python的requests和BeautifulSoup库来爬取网站上的图片,并将它们保存在本地。以下是一个示例代码来实现这个功能:import requests
from bs4 import BeautifulSoup
import os
# 发送GET请求获取网页内容
url = '你要爬取的网站URL'
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有图片的标签
img_tags = soup.find_all('img')
# 创建一个文件夹来保存图片
os.makedirs('images', exist_ok=True)
# 遍历所有图片标签并保存图片
for img_tag in img_tags:
img_url = img_tag['src']
img_name = img_url.split('/')[-1]
img_data = requests.get(img_url).content
with open(f'images/{img_name}', 'wb') as f:
f.write(img_data)
在这个示例中,我们首先发送GET请求获取网页内容,然后使用BeautifulSoup解析网页内容,找到所有的图片标签。接着我们创建一个名为"images"的文件夹来保存图片,并遍历所有图片标签,将图片保存在本地。
页:
[1]