You need to enable JavaScript to run this app. Python OCI SDK使用put_object上传Oracle Storage超时 命令行正常
优惠活动
大模型
产品
解决方案
定价
更多

Python OCI SDK使用put_object上传Oracle Storage超时 命令行正常

核心根因
  • 直接调用put_object实现的是单块全量上传逻辑,不会自动触发OCI对象存储的多部分上传(Multipart Upload)流程。
  • 你本地测试的208M文件,单块上传时需要把整个文件内容作为单个HTTP请求的请求体一次性推送,这个过程很容易触发写超时:哪怕文件远低于单块接口5G的硬上限,公网/专线的网络波动、SDK默认的超时阈值,都可能导致大请求体传输超时。
  • 你使用的oci-cli工具本身内置了自动多部分上传逻辑:检测到文件大小超过默认阈值(约100M)后,会自动执行初始化多部分上传、拆分文件块、逐块上传、最终合并块的全流程,也就是日志里“Split file into 2 parts for upload”对应的逻辑。逐块上传单块请求体小、传输耗时短、支持单块重试,自然不会轻易触发超时。
现有代码的隐性问题
  • 整文件全量读入内存:当前代码用image.read()把208M文件全部加载到内存,大文件场景下会额外占用大量内存,内存压力升高会进一步拉高请求超时的概率。
  • 未适配大文件的超时配置:OCI Python SDK默认的写超时为60秒,对于200M以上的单块上传来说,只要网络带宽稍慢,就会触及超时阈值中断请求。
  • 异常捕获范围缺失:当前except块仅捕获InvalidConfig、BaseConnectTimeout、ConfigFileNotFound、ServiceError四类异常,实际抛出的RequestException不在捕获范围内,出问题时根本不会走到自定义的日志逻辑。
可直接落地的解决方式
  1. 优先使用SDK内置的UploadManager,和CLI逻辑完全对齐
    这个组件是OCI Python SDK官方封装的上传工具,和oci-cli用的是同一套上传逻辑:自动判断是否需要多部分上传、自动重试失败块、自动处理块校验、支持并行传块,不需要手动实现拆分、初始化、合并的全流程。
    参考实现:
    import oci
    # 初始化对象存储客户端,自定义适配大文件的超时参数
    object_storage_client = oci.object_storage.ObjectStorageClient(
        config=oci.config.from_file(),
        timeout=(10, 300) # 参数为(连接超时秒数, 写超时秒数)
    )
    # 初始化上传管理器,开启多部分上传能力
    upload_manager = oci.object_storage.UploadManager(
        object_storage_client=object_storage_client,
        allow_parallel_uploads=True,
        parallel_process_count=3,
        part_size=100 * 1024 * 1024 # 单块大小100M,和CLI默认逻辑一致
    )
    # 直接传入文件路径执行上传,无需手动读取文件内容
    upload_result = upload_manager.upload_file(
        namespace_name='grddddaaaZZ',
        bucket_name='dev.bucket',
        object_name='processed/2020-11/image.tif',
        file_path='/path/to/my/file/image.tif'
    )
    
  2. 若必须使用原生put_object单接口实现,需做两项调整:
    • 把客户端的写超时从默认60秒上调到300秒以上,根据自身网络带宽留足冗余(比如10M带宽传输200M文件理论耗时约160秒)
    • 不要提前调用read()把全量文件加载到内存,直接把打开文件后的二进制流对象作为put_object的body参数传入。

内容的提问来源于stack exchange,提问作者66lotte

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 09:45:03