S3跨存储桶复制如何获取进度信息？

AWS CLI的s3 cp命令在S3路径间复制时显示的进度，并不是直接从S3 API返回的——因为CopyObject和UploadPartCopy这两个底层API确实不会主动返回实时复制进度。这些进度是CLI客户端本地计算出来的，具体逻辑分两种情况：

1. 小文件（非分块复制）的进度计算 #

当文件大小小于默认分块阈值（8GB）时，CLI会调用CopyObject API完成复制，进度统计逻辑如下：

• 先通过HeadObject API获取源文件的总大小
• 发送复制请求后，CLI会定期调用HeadObject查询目标对象的当前大小（S3在后台复制过程中，目标对象的大小会逐步增长）
• 用「目标对象当前大小/源文件总大小」计算完成比例，再结合耗时算出实时传输速率，最终输出类似Completed 264.0 MiB/1.6 GiB (40.4 MiB/s)的进度

2. 大文件（分块复制）的进度计算 #

当文件超过分块阈值时，CLI会自动拆分成多个块，调用UploadPartCopy逐个复制：

• 同样先通过HeadObject获取源文件总大小，计算出需要拆分的块数（每个块最大5GB，最后一块可更小）
• 每成功完成一个块的复制（收到UploadPartCopy的成功响应），就累加该块的大小
• 用累加的已完成大小除以总大小得到进度，CLI默认只显示字节数进度，不会展示已复制的块数

自行实现进度追踪的方法 #

如果要在自己的代码里实现类似的进度统计，参考以下逻辑：

• 第一步：调用HeadObject获取源文件的总大小
• 小文件场景：定期调用HeadObject查询目标对象的当前大小，对比总大小计算进度（注意S3的大小更新可能有轻微延迟，进度是近似值）
• 大文件分块场景：每成功复制一个块，就累加该块的大小，实时计算完成比例

内容的提问来源于stack exchange，提问作者Stack Exchange Broke The Law