Python OCI SDK使用put_object上传Oracle Storage超时 命令行正常
核心根因
- 直接调用
put_object实现的是单块全量上传逻辑,不会自动触发OCI对象存储的多部分上传(Multipart Upload)流程。 - 你本地测试的208M文件,单块上传时需要把整个文件内容作为单个HTTP请求的请求体一次性推送,这个过程很容易触发写超时:哪怕文件远低于单块接口5G的硬上限,公网/专线的网络波动、SDK默认的超时阈值,都可能导致大请求体传输超时。
- 你使用的
oci-cli工具本身内置了自动多部分上传逻辑:检测到文件大小超过默认阈值(约100M)后,会自动执行初始化多部分上传、拆分文件块、逐块上传、最终合并块的全流程,也就是日志里“Split file into 2 parts for upload”对应的逻辑。逐块上传单块请求体小、传输耗时短、支持单块重试,自然不会轻易触发超时。
现有代码的隐性问题
- 整文件全量读入内存:当前代码用
image.read()把208M文件全部加载到内存,大文件场景下会额外占用大量内存,内存压力升高会进一步拉高请求超时的概率。 - 未适配大文件的超时配置:OCI Python SDK默认的写超时为60秒,对于200M以上的单块上传来说,只要网络带宽稍慢,就会触及超时阈值中断请求。
- 异常捕获范围缺失:当前
except块仅捕获InvalidConfig、BaseConnectTimeout、ConfigFileNotFound、ServiceError四类异常,实际抛出的RequestException不在捕获范围内,出问题时根本不会走到自定义的日志逻辑。
可直接落地的解决方式
- 优先使用SDK内置的
UploadManager,和CLI逻辑完全对齐
这个组件是OCI Python SDK官方封装的上传工具,和oci-cli用的是同一套上传逻辑:自动判断是否需要多部分上传、自动重试失败块、自动处理块校验、支持并行传块,不需要手动实现拆分、初始化、合并的全流程。
参考实现:import oci # 初始化对象存储客户端,自定义适配大文件的超时参数 object_storage_client = oci.object_storage.ObjectStorageClient( config=oci.config.from_file(), timeout=(10, 300) # 参数为(连接超时秒数, 写超时秒数) ) # 初始化上传管理器,开启多部分上传能力 upload_manager = oci.object_storage.UploadManager( object_storage_client=object_storage_client, allow_parallel_uploads=True, parallel_process_count=3, part_size=100 * 1024 * 1024 # 单块大小100M,和CLI默认逻辑一致 ) # 直接传入文件路径执行上传,无需手动读取文件内容 upload_result = upload_manager.upload_file( namespace_name='grddddaaaZZ', bucket_name='dev.bucket', object_name='processed/2020-11/image.tif', file_path='/path/to/my/file/image.tif' ) - 若必须使用原生
put_object单接口实现,需做两项调整:- 把客户端的写超时从默认60秒上调到300秒以上,根据自身网络带宽留足冗余(比如10M带宽传输200M文件理论耗时约160秒)
- 不要提前调用
read()把全量文件加载到内存,直接把打开文件后的二进制流对象作为put_object的body参数传入。
内容的提问来源于stack exchange,提问作者66lotte
相关产品推荐
相关产品推荐

