[已解决]谁帮我看看这个爬虫代码哪里出错了？如何修改

549663844

import urllib.request
import requests
from bs4 import BeautifulSoup

def getpic(page):
        url = 'http://www.budejie.com/pic/%s' %page
        req = urllib.request.Request(url)
        req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
        res = requests.get(url)
        res.encoding = 'utf-8'
        soup = BeautifulSoup(res.text, 'html.parser')
        for imgs in soup.select('.j-r-list-c-img'):
                a =[imgs.select('img')[0]['data-original']]
                print(a)
        for i in a:
                filename = i.split('/')[-1]
                print('正在下载%s' %filename)
                urllib.request.urlretrieve(i,'pic/%s' %filename)


for x in range(1,5):
        getpic(x)


        

      

最佳答案

月排行榜 / 总排行榜

小甲鱼的二师兄

2024-11-28 01:22:22

变量 a 在第一个循环中被不断覆盖，最终只会保留最后一个图片的 URL。

导致第二个循环中只会下载最后一张图片。

以下是修复后的代码：

import os
import requests
from bs4 import BeautifulSoup

def getpic(page):
    # 设置目标网站的 URL
    url = f'http://www.budejie.com/pic/{page}'
    
    # 模拟浏览器的请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    
    # 发起 GET 请求
    try:
        res = requests.get(url, headers=headers)
        res.raise_for_status()  # 检查 HTTP 请求是否成功
    except requests.RequestException as e:
        print(f"无法访问页面 {page}：{e}")
        return

    # 设置编码并解析 HTML
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    # 查找所有图片元素
    images = soup.select('.j-r-list-c-img img')
    if not images:
        print(f"页面 {page} 未找到任何图片")
        return

    # 确保保存图片的文件夹存在
    save_dir = 'pic'
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)

    # 循环处理每张图片
    for img in images:
        try:
            # 获取图片 URL
            img_url = img.get('data-original')  # 从 data-original 属性中获取图片的完整 URL
            if not img_url:
                continue  # 如果 URL 为空，跳过
            
            filename = os.path.join(save_dir, img_url.split('/')[-1])  # 从 URL 中提取文件名
            print(f"正在下载 {filename}，来源：{img_url}...")
            
            # 下载并保存图片
            img_data = requests.get(img_url).content
            with open(filename, 'wb') as f:
                f.write(img_data)
            print(f"保存成功：{filename}")
        except Exception as e:
            print(f"下载图片失败：{e}")

# 循环处理第 1 到 4 页
for x in range(1, 5):
    getpic(x)

跳转到最佳答案楼层

549663844

这是报错

549663844

不知道那个a要怎么修改

549663844

求大神

549663844

怎么没人

小甲鱼的二师兄

变量 a 在第一个循环中被不断覆盖，最终只会保留最后一个图片的 URL。

导致第二个循环中只会下载最后一张图片。

以下是修复后的代码：

import os
import requests
from bs4 import BeautifulSoup

def getpic(page):
    # 设置目标网站的 URL
    url = f'http://www.budejie.com/pic/{page}'
    
    # 模拟浏览器的请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    
    # 发起 GET 请求
    try:
        res = requests.get(url, headers=headers)
        res.raise_for_status()  # 检查 HTTP 请求是否成功
    except requests.RequestException as e:
        print(f"无法访问页面 {page}：{e}")
        return

    # 设置编码并解析 HTML
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    # 查找所有图片元素
    images = soup.select('.j-r-list-c-img img')
    if not images:
        print(f"页面 {page} 未找到任何图片")
        return

    # 确保保存图片的文件夹存在
    save_dir = 'pic'
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)

    # 循环处理每张图片
    for img in images:
        try:
            # 获取图片 URL
            img_url = img.get('data-original')  # 从 data-original 属性中获取图片的完整 URL
            if not img_url:
                continue  # 如果 URL 为空，跳过
            
            filename = os.path.join(save_dir, img_url.split('/')[-1])  # 从 URL 中提取文件名
            print(f"正在下载 {filename}，来源：{img_url}...")
            
            # 下载并保存图片
            img_data = requests.get(img_url).content
            with open(filename, 'wb') as f:
                f.write(img_data)
            print(f"保存成功：{filename}")
        except Exception as e:
            print(f"下载图片失败：{e}")

# 循环处理第 1 到 4 页
for x in range(1, 5):
    getpic(x)