raise_for_status() 如果失败代码流程怎么走？

ooolinux

# ch23_25.py
import bs4, requests, os

headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)\
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101\
            Safari/537.36', }
url = '某个网址发帖发不出来'                     # 这个服务器会挡住网页
html = requests.get(url, headers=headers)           
print("网页下载中 ...")
html.raise_for_status()                             # 验证网页是否下载成功                      
print("网页下载完成")

destDir = 'out23_25'                                # 设定储存文件夹
if os.path.exists(destDir) == False:
    os.mkdir(destDir)                               # 建立目录供未来储存图片

objSoup = bs4.BeautifulSoup(html.text, 'lxml')      # 建立BeautifulSoup对象

imgTag = objSoup.select('img')                      # 搜寻所有图片档案
print("搜寻到的图片数量 = ", len(imgTag))           # 列出搜寻到的图片数量
if imgTag:                                          # 如果有找到图片则执行下载与储存
    for img in imgTag:                              # 循环下载图片与储存
        imgUrl = img.get('src')                     # 取得图片的路径
        print(f"{imgUrl} 图片下载中 ... ")
        finUrl = url + imgUrl                       # 取得图片在Internet上的路径
        print(f"{finUrl} 图片下载中 ... ")
        picture = requests.get(finUrl, headers=headers) # 下载图片
        picture.raise_for_status()                  # 验证图片是否下载成功
        print(f"{finUrl} 图片下载成功")

        # 先开启档案, 再储存图片
        pictFile = open(os.path.join(destDir, os.path.basename(imgUrl)), 'wb')
        for diskStorage in picture.iter_content(10240):
            pictFile.write(diskStorage)
        pictFile.close()                            # 关闭档案

        

    




    

FishC

问题分析：
当调用 raise_for_status() 失败时，表示HTTP请求返回了4xx/5xx错误状态码，此时会立即抛出 requests.exceptions.HTTPError 异常，后续代码将不会继续执行

代码流程说明：
当网页请求失败时（比如第9行代码），执行流程会这样走：

• html = requests.get(...) 会先返回响应对象
• raise_for_status() 检查响应状态码：
    
  
    
  • 如果是2xx：继续执行后续代码
      
  • 如果是4xx/5xx：立即抛出异常，程序终止
      
  
  

解决方案：
建议用 try-except 包裹关键代码：

try:
    html = requests.get(url, headers=headers)
    html.raise_for_status()
    print("网页下载完成")
except requests.exceptions.HTTPError as err:
    print(f"HTTP错误发生: {err}")
    # 这里可以添加重试机制或退出程序
except Exception as err:
    print(f"其他错误: {err}")

原代码的问题：
1. 第9行没有错误处理，如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误（建议用 urljoin）

改进建议：

• 所有网络请求都应包裹在 try-except 中
• 建议使用 session 保持连接
• 图片路径拼接建议改用：
  

    from urllib.parse import urljoin
    finUrl = urljoin(url, imgUrl)
    

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

ooolinux

FishC 发表于 2025-4-3 22:09
代码流程说明：
当网页请求失败时（比如第9行代码），执行流程会这样走：

如何使用 session 保持连接？