研究gsutil时，如何用Python3实现S3与GCS存储桶无本地下载双向传输？

核心实现原理 #

整个传输过程不依赖本地磁盘落地全量对象数据，核心通过流式分片对接完成跨云流转：

• 从源存储拉取的对象分片二进制流，直接注入目标存储的上传通道，分片处理完成后即刻在内存中释放，不会生成本地临时文件
• 传输前仅同步两端的对象元数据（键名、大小、校验值）做差异比对，跳过已一致的对象，减少无效流量
• 通过统一的适配器层抽象存储操作，可灵活切换源/目标存储类型，覆盖S3→GCS、GCS→S3两个传输方向

可落地实现路径 #

• 依赖组件选型：直接使用官方Python SDK完成存储对接，无额外第三方中转依赖
  • 使用boto3实现对AWS S3的读写操作
  • 使用google-cloud-storage实现对GCS的读写操作
• 无本地落地的关键配置：
  • 源端读取环节：不使用SDK中直接写入本地磁盘的下载方法（如S3的download_file、GCS的download_to_filename），改用SDK提供的流式读取接口：S3端通过get_object返回的Body迭代器逐块拉取分片，GCS端通过Blob的二进制读流接口逐块拉取分片
  • 目标端上传环节：不关联任何本地文件路径，使用分片上传的流写入接口，将内存中的分片内容直接推送到目标存储，全程规避SDK中从本地磁盘读取文件上传的方法
  • 固定分片缓冲区大小：一般设置为8~16MB的分片粒度，内存占用不会随单文件大小线性增长，也不会产生本地临时文件
• 双向传输的封装逻辑：
  1. 抽象统一源端操作接口：分别实现S3、GCS的源端适配器，对外提供「拉取全量对象元数据清单」「按指定偏移量读取对象分片流」两个标准化能力
  2. 抽象统一目标端操作接口：分别实现S3、GCS的目标端适配器，对外提供「初始化分片上传会话」「将分片流写入指定分片序号」「拼接所有分片完成最终上传」三个标准化能力
  3. 传输调度层：根据传入的源、目标存储类型参数，自动匹配对应的适配器组合：源选S3适配器+目标选GCS适配器时，走S3到GCS的传输逻辑；源选GCS适配器+目标选S3适配器时，走GCS到S3的传输逻辑
• 可靠性增强能力：
  • 分片传输失败时，自动从失败的分片偏移处重试，无需重拉整个对象
  • 跨云公网带宽波动场景下，自动调整分片大小，降低网络抖动对传输成功率的影响

与现有gsutil能力的协同 #

这套Python实现的底层逻辑与gsutil原生支持的跨服务传输模式内核一致，但可以根据实际业务需求做定制化扩展，比如自定义路径过滤规则、自定义对象校验逻辑、同步流程的状态上报等，无需被gsutil的固定参数限制。

内容的提问来源于stack exchange，提问作者Lantz