raise_for_status() 如果失败代码流程怎么走?
# ch23_25.py
import bs4, requests, os
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)\
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101\
Safari/537.36', }
url = '某个网址发帖发不出来' # 这个服务器会挡住网页
html = requests.get(url, headers=headers)
print("网页下载中 ...")
html.raise_for_status() # 验证网页是否下载成功
print("网页下载完成")
destDir = 'out23_25' # 设定储存文件夹
if os.path.exists(destDir) == False:
os.mkdir(destDir) # 建立目录供未来储存图片
objSoup = bs4.BeautifulSoup(html.text, 'lxml') # 建立BeautifulSoup对象
imgTag = objSoup.select('img') # 搜寻所有图片档案
print("搜寻到的图片数量 = ", len(imgTag)) # 列出搜寻到的图片数量
if imgTag: # 如果有找到图片则执行下载与储存
for img in imgTag: # 循环下载图片与储存
imgUrl = img.get('src') # 取得图片的路径
print(f"{imgUrl} 图片下载中 ... ")
finUrl = url + imgUrl # 取得图片在Internet上的路径
print(f"{finUrl} 图片下载中 ... ")
picture = requests.get(finUrl, headers=headers) # 下载图片
picture.raise_for_status() # 验证图片是否下载成功
print(f"{finUrl} 图片下载成功")
# 先开启档案, 再储存图片
pictFile = open(os.path.join(destDir, os.path.basename(imgUrl)), 'wb')
for diskStorage in picture.iter_content(10240):
pictFile.write(diskStorage)
pictFile.close() # 关闭档案
问题分析:
当调用 raise_for_status() 失败时,表示HTTP请求返回了4xx/5xx错误状态码,此时会立即抛出 requests.exceptions.HTTPError 异常,后续代码将不会继续执行
代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:
[*]html = requests.get(...) 会先返回响应对象
[*]raise_for_status() 检查响应状态码:
[*]如果是2xx:继续执行后续代码
[*]如果是4xx/5xx:立即抛出异常,程序终止
解决方案:
建议用 try-except 包裹关键代码:
try:
html = requests.get(url, headers=headers)
html.raise_for_status()
print("网页下载完成")
except requests.exceptions.HTTPError as err:
print(f"HTTP错误发生: {err}")
# 这里可以添加重试机制或退出程序
except Exception as err:
print(f"其他错误: {err}")
原代码的问题:
1. 第9行没有错误处理,如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误(建议用 urljoin)
改进建议:
[*]所有网络请求都应包裹在 try-except 中
[*]建议使用 session 保持连接
[*]图片路径拼接建议改用:
from urllib.parse import urljoin
finUrl = urljoin(url, imgUrl)
以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。 FishC 发表于 2025-4-3 22:09
代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:
如何使用 session 保持连接?
页:
[1]