Python通过REST API上传大文件时授权Token过期致程序中断求助
大文件上传超时中断问题的修复方案
原代码的核心缺陷
- 未显式设置
requests.post的超时阈值,默认无超时的长连接在大文件传输时,一旦被网关、代理、服务端中断,会直接触发程序未捕获异常退出 - 所有打开的文件流无关闭逻辑,大文件场景下容易出现系统文件句柄泄漏,直接导致运行中断
- 请求构造时将文件全量载入内存,不仅占用大量内存资源,还会拉长请求整体等待时间,极易触发30分钟有效期的Token临期、网关固定超时断连的问题
- 未做传输过程的异常兜底,出现网络抖动、Token过期、连接中断时没有重试逻辑,程序直接崩溃
可直接复用的修复版代码
def post_Return_File(url, token, uploadFile, get_valid_token, chunk_size=1048576): import requests from os.path import splitext from requests.exceptions import Timeout, ConnectionError, RequestException headers = {'Authorization': 'Bearer ' + token} files_to_upload = [] file_handles = [] # 跟踪所有打开的文件句柄,统一释放 file_seq = 0 try: for file_path in uploadFile: file_seq += 1 field_name = f'file{file_seq}' fh = open(file_path, 'rb') file_handles.append(fh) suffix = splitext(file_path)[-1].strip('.') upload_item = (field_name, (file_path, fh, suffix)) files_to_upload.append(upload_item) # 开启流式分块传输,设置分层超时:连接超时10s,整体传输超时按大文件场景预留10分钟窗口 resp = requests.post( url, headers=headers, files=files_to_upload, timeout=(10, 600), stream=True ) resp.raise_for_status() return resp.status_code except (Timeout, ConnectionError): # 断连、超时场景下,重新获取有效Token后重试1次 new_token = get_valid_token() headers['Authorization'] = f'Bearer {new_token}' resp = requests.post( url, headers=headers, files=files_to_upload, timeout=(10, 600), stream=True ) return resp.status_code except RequestException as e: return f"上传异常:{str(e)}" finally: # 无论上传成功失败,统一关闭所有打开的文件句柄 for fh in file_handles: fh.close()
适配现有鉴权规则的注意点
- 因为当前鉴权采用
grant_type=password模式、无refresh token、Token固定30分钟有效期,发起大文件上传前必须先校验Token剩余有效期,距离过期不足5分钟时,提前调用密码模式接口获取新Token再发起上传,避免上传中途Token失效 - 单文件超过1GB的超大文件,建议改用分片上传逻辑,每片单独设置超时阈值,不要靠单长连接传完全量内容
- 生产环境禁止依赖requests的默认超时机制,必须显式传入超时参数,避免无意义的无限等待占死进程
内容的提问来源于stack exchange,提问作者sammyk
相关产品推荐
相关产品推荐

