论坛 › Python交流 › 谁帮我看看这个爬虫代码哪里出错了？如何修改

549663844 发表于 2017-2-3 23:42:34

谁帮我看看这个爬虫代码哪里出错了？如何修改

import urllib.request
import requests
from bs4 import BeautifulSoup

def getpic(page):
      url = 'http://www.budejie.com/pic/%s' %page
      req = urllib.request.Request(url)
      req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
      res = requests.get(url)
      res.encoding = 'utf-8'
      soup = BeautifulSoup(res.text, 'html.parser')
      for imgs in soup.select('.j-r-list-c-img'):
                a =['data-original']]
                print(a)
      for i in a:
                filename = i.split('/')[-1]
                print('正在下载%s' %filename)
                urllib.request.urlretrieve(i,'pic/%s' %filename)


for x in range(1,5):
      getpic(x)


      

      

549663844 发表于 2017-2-3 23:43:44

这是报错

549663844 发表于 2017-2-3 23:44:20

{:10_266:}不知道那个a要怎么修改

549663844 发表于 2017-2-4 11:19:16

求大神

549663844 发表于 2017-2-4 13:59:34

怎么没人{:10_266:}

小甲鱼的二师兄 发表于 2024-11-28 01:22:22

变量 a 在第一个循环中被不断覆盖，最终只会保留最后一个图片的 URL。

导致第二个循环中只会下载最后一张图片。

以下是修复后的代码：

import os
import requests
from bs4 import BeautifulSoup

def getpic(page):
    # 设置目标网站的 URL
    url = f'http://www.budejie.com/pic/{page}'
   
    # 模拟浏览器的请求头
    headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
   
    # 发起 GET 请求
    try:
      res = requests.get(url, headers=headers)
      res.raise_for_status()# 检查 HTTP 请求是否成功
    except requests.RequestException as e:
      print(f"无法访问页面 {page}：{e}")
      return

    # 设置编码并解析 HTML
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
   
    # 查找所有图片元素
    images = soup.select('.j-r-list-c-img img')
    if not images:
      print(f"页面 {page} 未找到任何图片")
      return

    # 确保保存图片的文件夹存在
    save_dir = 'pic'
    if not os.path.exists(save_dir):
      os.makedirs(save_dir)

    # 循环处理每张图片
    for img in images:
      try:
            # 获取图片 URL
            img_url = img.get('data-original')# 从 data-original 属性中获取图片的完整 URL
            if not img_url:
                continue# 如果 URL 为空，跳过
            
            filename = os.path.join(save_dir, img_url.split('/')[-1])# 从 URL 中提取文件名
            print(f"正在下载 {filename}，来源：{img_url}...")
            
            # 下载并保存图片
            img_data = requests.get(img_url).content
            with open(filename, 'wb') as f:
                f.write(img_data)
            print(f"保存成功：{filename}")
      except Exception as e:
            print(f"下载图片失败：{e}")

# 循环处理第 1 到 4 页
for x in range(1, 5):
    getpic(x)

查看完整版本: 谁帮我看看这个爬虫代码哪里出错了？如何修改