鱼C论坛

 找回密码
 立即注册
查看: 172|回复: 2

[已解决]raise_for_status() 如果失败代码流程怎么走?

[复制链接]
发表于 2025-4-3 22:08:19 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x

  1. # ch23_25.py
  2. import bs4, requests, os

  3. headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)\
  4.             AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101\
  5.             Safari/537.36', }
  6. url = '某个网址发帖发不出来'                     # 这个服务器会挡住网页
  7. html = requests.get(url, headers=headers)           
  8. print("网页下载中 ...")
  9. html.raise_for_status()                             # 验证网页是否下载成功                     
  10. print("网页下载完成")

  11. destDir = 'out23_25'                                # 设定储存文件夹
  12. if os.path.exists(destDir) == False:
  13.     os.mkdir(destDir)                               # 建立目录供未来储存图片

  14. objSoup = bs4.BeautifulSoup(html.text, 'lxml')      # 建立BeautifulSoup对象

  15. imgTag = objSoup.select('img')                      # 搜寻所有图片档案
  16. print("搜寻到的图片数量 = ", len(imgTag))           # 列出搜寻到的图片数量
  17. if imgTag:                                          # 如果有找到图片则执行下载与储存
  18.     for img in imgTag:                              # 循环下载图片与储存
  19.         imgUrl = img.get('src')                     # 取得图片的路径
  20.         print(f"{imgUrl} 图片下载中 ... ")
  21.         finUrl = url + imgUrl                       # 取得图片在Internet上的路径
  22.         print(f"{finUrl} 图片下载中 ... ")
  23.         picture = requests.get(finUrl, headers=headers) # 下载图片
  24.         picture.raise_for_status()                  # 验证图片是否下载成功
  25.         print(f"{finUrl} 图片下载成功")

  26.         # 先开启档案, 再储存图片
  27.         pictFile = open(os.path.join(destDir, os.path.basename(imgUrl)), 'wb')
  28.         for diskStorage in picture.iter_content(10240):
  29.             pictFile.write(diskStorage)
  30.         pictFile.close()                            # 关闭档案

  31.         

  32.    




  33.    
复制代码
最佳答案
2025-4-3 22:09:11
问题分析:
当调用 raise_for_status() 失败时,表示HTTP请求返回了4xx/5xx错误状态码,此时会立即抛出 requests.exceptions.HTTPError 异常,后续代码将不会继续执行


代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:
  • html = requests.get(...) 会先返回响应对象
  • raise_for_status() 检查响应状态码:
      

        
    • 如果是2xx:继续执行后续代码
        
    • 如果是4xx/5xx:立即抛出异常,程序终止
        



解决方案:
建议用 try-except 包裹关键代码:


  1. try:
  2.     html = requests.get(url, headers=headers)
  3.     html.raise_for_status()
  4.     print("网页下载完成")
  5. except requests.exceptions.HTTPError as err:
  6.     print(f"HTTP错误发生: {err}")
  7.     # 这里可以添加重试机制或退出程序
  8. except Exception as err:
  9.     print(f"其他错误: {err}")
复制代码


原代码的问题:
1. 第9行没有错误处理,如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误(建议用 urljoin

改进建议:
  • 所有网络请求都应包裹在 try-except 中
  • 建议使用 session 保持连接
  • 图片路径拼接建议改用:

    1.   from urllib.parse import urljoin
    2.   finUrl = urljoin(url, imgUrl)
    3.   
    复制代码



以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2025-4-3 22:09:11 | 显示全部楼层    本楼为最佳答案   
问题分析:
当调用 raise_for_status() 失败时,表示HTTP请求返回了4xx/5xx错误状态码,此时会立即抛出 requests.exceptions.HTTPError 异常,后续代码将不会继续执行


代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:
  • html = requests.get(...) 会先返回响应对象
  • raise_for_status() 检查响应状态码:
      

        
    • 如果是2xx:继续执行后续代码
        
    • 如果是4xx/5xx:立即抛出异常,程序终止
        



解决方案:
建议用 try-except 包裹关键代码:


  1. try:
  2.     html = requests.get(url, headers=headers)
  3.     html.raise_for_status()
  4.     print("网页下载完成")
  5. except requests.exceptions.HTTPError as err:
  6.     print(f"HTTP错误发生: {err}")
  7.     # 这里可以添加重试机制或退出程序
  8. except Exception as err:
  9.     print(f"其他错误: {err}")
复制代码


原代码的问题:
1. 第9行没有错误处理,如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误(建议用 urljoin

改进建议:
  • 所有网络请求都应包裹在 try-except 中
  • 建议使用 session 保持连接
  • 图片路径拼接建议改用:

    1.   from urllib.parse import urljoin
    2.   finUrl = urljoin(url, imgUrl)
    3.   
    复制代码



以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2025-4-3 22:58:52 | 显示全部楼层
FishC 发表于 2025-4-3 22:09
代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:

如何使用 session 保持连接?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-5-25 22:13

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表