如何提升Amazon S3存储桶间文件复制速度？Drupal 10迁移优化

关于“先转至Drupal本地存储再迁移”的方案 #

这个方案不可行，且速度会更慢，原因如下：

• 跨S3桶复制（无论同区域/跨区域）都是AWS内部骨干网传输，无需走公网；而先下载到Drupal服务器再上传，要经历“源S3→服务器→目标S3”两次公网传输，额外增加带宽消耗和请求延迟，小文件的HTTP握手、连接建立开销占比极高，整体耗时只会更长。
• 中转过程还会占用Drupal服务器的CPU、内存资源，可能影响其他业务运行。

提升复制速度的可行建议 #

1. 优先用S3原生批量复制功能 #

• 同区域复制（SRR）/跨区域复制（CRR）：直接在AWS控制台或通过API给源桶设置复制规则，AWS会后台自动批量并行复制所有符合条件的文件，这是效率最高的方案，完全不需要你的PHP代码循环处理。
• AWS SDK异步/批量调用：如果必须通过代码控制，使用AWS SDK for PHP的异步Promise或批量复制接口，同时发起多个copyObject请求并行处理小文件（比如一次并行处理50-100个），避免串行等待。例如原来500个文件串行2分钟，并行50个的话，理论耗时可压缩至20-30秒左右。

2. 优化Drupal代码调用 #

• 复用S3客户端实例：检查S3FileImport类是否每次调用copyObject都重新初始化S3客户端，改成单例模式复用，减少连接建立的重复开销。
• 精简非必要逻辑：暂时关闭Drupal中针对文件的额外校验、日志记录等功能（迁移完成后再恢复），降低每个复制请求的处理时间。

3. 合并小文件（业务允许的话） #

如果视频分段无需单独保留，用FFmpeg等工具将单条视频的500个分段合并成单个文件后再复制。大文件的复制效率远高于大量小文件，因为小文件的元数据处理、HTTP握手占比远高于实际数据传输。

4. 用AWS CLI辅助迁移 #

如果不需要实时通过Drupal代码处理，直接用AWS CLI的s3 sync命令批量同步：

aws s3 sync s3://源存储桶/目标路径 s3://目标存储桶/目标路径 --exclude "*" --include "*.segment"

该命令会自动并行处理文件，效率远高于PHP串行调用。迁移完成后，再在Drupal数据库中批量更新文件路径记录即可。

5. 临时升级服务器带宽（备选） #

如果因业务限制必须通过Drupal服务器中转，临时升级服务器的公网带宽，减少下载上传的瓶颈。但此方案成本较高，仅作为最后备选。

内容的提问来源于stack exchange，提问作者MilanG