You need to enable JavaScript to run this app. Python通过REST API上传大文件时授权Token过期致程序中断求助
优惠活动
大模型
产品
解决方案
定价
更多

Python通过REST API上传大文件时授权Token过期致程序中断求助

大文件上传超时中断问题的修复方案

原代码的核心缺陷

  • 未显式设置requests.post的超时阈值,默认无超时的长连接在大文件传输时,一旦被网关、代理、服务端中断,会直接触发程序未捕获异常退出
  • 所有打开的文件流无关闭逻辑,大文件场景下容易出现系统文件句柄泄漏,直接导致运行中断
  • 请求构造时将文件全量载入内存,不仅占用大量内存资源,还会拉长请求整体等待时间,极易触发30分钟有效期的Token临期、网关固定超时断连的问题
  • 未做传输过程的异常兜底,出现网络抖动、Token过期、连接中断时没有重试逻辑,程序直接崩溃

可直接复用的修复版代码

def post_Return_File(url, token, uploadFile, get_valid_token, chunk_size=1048576):
    import requests
    from os.path import splitext
    from requests.exceptions import Timeout, ConnectionError, RequestException

    headers = {'Authorization': 'Bearer ' + token}
    files_to_upload = []
    file_handles = []  # 跟踪所有打开的文件句柄,统一释放
    file_seq = 0

    try:
        for file_path in uploadFile:
            file_seq += 1
            field_name = f'file{file_seq}'
            fh = open(file_path, 'rb')
            file_handles.append(fh)
            suffix = splitext(file_path)[-1].strip('.')
            upload_item = (field_name, (file_path, fh, suffix))
            files_to_upload.append(upload_item)

        # 开启流式分块传输,设置分层超时:连接超时10s,整体传输超时按大文件场景预留10分钟窗口
        resp = requests.post(
            url,
            headers=headers,
            files=files_to_upload,
            timeout=(10, 600),
            stream=True
        )
        resp.raise_for_status()
        return resp.status_code

    except (Timeout, ConnectionError):
        # 断连、超时场景下,重新获取有效Token后重试1次
        new_token = get_valid_token()
        headers['Authorization'] = f'Bearer {new_token}'
        resp = requests.post(
            url,
            headers=headers,
            files=files_to_upload,
            timeout=(10, 600),
            stream=True
        )
        return resp.status_code
    except RequestException as e:
        return f"上传异常:{str(e)}"
    finally:
        # 无论上传成功失败,统一关闭所有打开的文件句柄
        for fh in file_handles:
            fh.close()

适配现有鉴权规则的注意点

  • 因为当前鉴权采用grant_type=password模式、无refresh token、Token固定30分钟有效期,发起大文件上传前必须先校验Token剩余有效期,距离过期不足5分钟时,提前调用密码模式接口获取新Token再发起上传,避免上传中途Token失效
  • 单文件超过1GB的超大文件,建议改用分片上传逻辑,每片单独设置超时阈值,不要靠单长连接传完全量内容
  • 生产环境禁止依赖requests的默认超时机制,必须显式传入超时参数,避免无意义的无限等待占死进程

内容的提问来源于stack exchange,提问作者sammyk

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 22:27:02