使用Google Storage Transfer Service备份AWS S3的成本效益咨询

嘿，这个问题问到点子上了——毕竟800k文件、400GB的规模，要是每次备份都全量来，成本绝对吃不消。我来给你掰扯清楚Google Cloud Storage Transfer Service的增量备份逻辑，以及对应的成本变化：

核心结论：后续备份是增量式的，成本远低于首次全量备份 #

Google Storage Transfer Service默认会自动识别S3存储桶中新增或修改过的文件，仅传输这些内容，不会重复传输未变更的文件。

具体判断逻辑与成本对应 #

• 文件变更识别方式：服务会对比S3源文件和GCS目标文件的最后修改时间以及文件大小，只有当这两个属性不一致时，才会触发传输。
• 成本变化细节：
  • AWS侧：仅产生变更/新增文件的出站流量，以及对应数量的GetObject请求（不再是首次的800k次）
  • GCS侧：仅产生变更/新增文件的PutObject请求，同样只对应实际传输的文件数量
• 删除操作的特殊处理：默认情况下，Transfer Service不会同步S3中删除的文件到GCS。如果需要同步删除动作，你得在创建传输任务时开启「删除源中不存在的对象」选项，这时候会额外产生一些列表和删除请求，但数量也远低于全量的800k次。

额外注意事项 #

• 如果你的S3存储桶开启了版本控制，Transfer Service默认只会传输最新版本的文件。要是需要同步所有版本，得单独配置，这会增加部分请求和流量成本，但依然是增量同步新版本，不会重复传输已备份过的旧版本。
• 传输任务的频率可以自定义（比如每日、每周），每次任务都会只处理自上次任务以来的变更内容。

内容的提问来源于stack exchange，提问作者Sergey Babochkin