ooolinux 发表于 2025-4-3 22:08:19

raise_for_status() 如果失败代码流程怎么走?


# ch23_25.py
import bs4, requests, os

headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)\
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101\
            Safari/537.36', }
url = '某个网址发帖发不出来'                     # 这个服务器会挡住网页
html = requests.get(url, headers=headers)         
print("网页下载中 ...")
html.raise_for_status()                           # 验证网页是否下载成功                     
print("网页下载完成")

destDir = 'out23_25'                              # 设定储存文件夹
if os.path.exists(destDir) == False:
    os.mkdir(destDir)                               # 建立目录供未来储存图片

objSoup = bs4.BeautifulSoup(html.text, 'lxml')      # 建立BeautifulSoup对象

imgTag = objSoup.select('img')                      # 搜寻所有图片档案
print("搜寻到的图片数量 = ", len(imgTag))         # 列出搜寻到的图片数量
if imgTag:                                          # 如果有找到图片则执行下载与储存
    for img in imgTag:                              # 循环下载图片与储存
      imgUrl = img.get('src')                     # 取得图片的路径
      print(f"{imgUrl} 图片下载中 ... ")
      finUrl = url + imgUrl                     # 取得图片在Internet上的路径
      print(f"{finUrl} 图片下载中 ... ")
      picture = requests.get(finUrl, headers=headers) # 下载图片
      picture.raise_for_status()                  # 验证图片是否下载成功
      print(f"{finUrl} 图片下载成功")

      # 先开启档案, 再储存图片
      pictFile = open(os.path.join(destDir, os.path.basename(imgUrl)), 'wb')
      for diskStorage in picture.iter_content(10240):
            pictFile.write(diskStorage)
      pictFile.close()                            # 关闭档案

      

   




   

FishC 发表于 2025-4-3 22:09:11

问题分析:
当调用 raise_for_status() 失败时,表示HTTP请求返回了4xx/5xx错误状态码,此时会立即抛出 requests.exceptions.HTTPError 异常,后续代码将不会继续执行

代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:

[*]html = requests.get(...) 会先返回响应对象
[*]raise_for_status() 检查响应状态码:

[*]如果是2xx:继续执行后续代码
[*]如果是4xx/5xx:立即抛出异常,程序终止



解决方案:
建议用 try-except 包裹关键代码:


try:
    html = requests.get(url, headers=headers)
    html.raise_for_status()
    print("网页下载完成")
except requests.exceptions.HTTPError as err:
    print(f"HTTP错误发生: {err}")
    # 这里可以添加重试机制或退出程序
except Exception as err:
    print(f"其他错误: {err}")


原代码的问题:
1. 第9行没有错误处理,如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误(建议用 urljoin)

改进建议:

[*]所有网络请求都应包裹在 try-except 中
[*]建议使用 session 保持连接
[*]图片路径拼接建议改用:

from urllib.parse import urljoin
finUrl = urljoin(url, imgUrl)



以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。

ooolinux 发表于 2025-4-3 22:58:52

FishC 发表于 2025-4-3 22:09
代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:



如何使用 session 保持连接?
页: [1]
查看完整版本: raise_for_status() 如果失败代码流程怎么走?