|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
- # ch23_25.py
- import bs4, requests, os
- headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)\
- AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101\
- Safari/537.36', }
- url = '某个网址发帖发不出来' # 这个服务器会挡住网页
- html = requests.get(url, headers=headers)
- print("网页下载中 ...")
- html.raise_for_status() # 验证网页是否下载成功
- print("网页下载完成")
- destDir = 'out23_25' # 设定储存文件夹
- if os.path.exists(destDir) == False:
- os.mkdir(destDir) # 建立目录供未来储存图片
- objSoup = bs4.BeautifulSoup(html.text, 'lxml') # 建立BeautifulSoup对象
- imgTag = objSoup.select('img') # 搜寻所有图片档案
- print("搜寻到的图片数量 = ", len(imgTag)) # 列出搜寻到的图片数量
- if imgTag: # 如果有找到图片则执行下载与储存
- for img in imgTag: # 循环下载图片与储存
- imgUrl = img.get('src') # 取得图片的路径
- print(f"{imgUrl} 图片下载中 ... ")
- finUrl = url + imgUrl # 取得图片在Internet上的路径
- print(f"{finUrl} 图片下载中 ... ")
- picture = requests.get(finUrl, headers=headers) # 下载图片
- picture.raise_for_status() # 验证图片是否下载成功
- print(f"{finUrl} 图片下载成功")
- # 先开启档案, 再储存图片
- pictFile = open(os.path.join(destDir, os.path.basename(imgUrl)), 'wb')
- for diskStorage in picture.iter_content(10240):
- pictFile.write(diskStorage)
- pictFile.close() # 关闭档案
-
-
-
复制代码
问题分析:
当调用 raise_for_status() 失败时,表示HTTP请求返回了4xx/5xx错误状态码,此时会立即抛出 requests.exceptions.HTTPError 异常,后续代码将不会继续执行
代码流程说明:
当网页请求失败时(比如第9行代码),执行流程会这样走:
- html = requests.get(...) 会先返回响应对象
- raise_for_status() 检查响应状态码:
- 如果是2xx:继续执行后续代码
- 如果是4xx/5xx:立即抛出异常,程序终止
解决方案:
建议用 try-except 包裹关键代码:
- try:
- html = requests.get(url, headers=headers)
- html.raise_for_status()
- print("网页下载完成")
- except requests.exceptions.HTTPError as err:
- print(f"HTTP错误发生: {err}")
- # 这里可以添加重试机制或退出程序
- except Exception as err:
- print(f"其他错误: {err}")
复制代码
原代码的问题:
1. 第9行没有错误处理,如果服务器返回404/503等错误会直接崩溃
2. 第21行图片下载的 raise_for_status() 也存在同样问题
3. 第13行 finUrl = url + imgUrl 的拼接方式可能错误(建议用 urljoin)
改进建议:
- 所有网络请求都应包裹在 try-except 中
- 建议使用 session 保持连接
- 图片路径拼接建议改用:
- from urllib.parse import urljoin
- finUrl = urljoin(url, imgUrl)
-
复制代码
以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
|
|