同S3存储桶内对象/文件夹最优迁移方案咨询：每日150GB数据迁移场景

首先澄清费用误区 #

同AWS区域、同存储桶内的S3对象COPY操作不会产生数据传输费用，仅收取极低的API请求费用，你担心的传输费仅在跨区域、跨桶或者外网访问场景下才会产生，同桶迁移完全不需要顾虑传输成本。

现有代码的核心问题 #

你当前的实现有两个明显的性能缺陷，也是耗时长的主要原因：

• 使用的list_objects接口默认最多返回1000个对象，如果待迁移的文件数超过1000，现有代码会遗漏后续文件，导致数据缺失
• 单线程同步调用copy接口，大部分时间都在等待IO响应，资源利用率极低，文件量越大耗时越夸张

推荐优化方案（按优先级排序） #

方案1：业务逻辑层改造，彻底规避数据拷贝（最优） #

结合你的每日交替写入流程，完全不需要做实际的对象迁移，只要调整路径读取逻辑即可：

• 维护一个独立的配置项，标记当前对外提供服务的生效路径是folder_1还是folder_2
• 每日Spark作业写入未生效的那个路径（比如今天生效路径是folder_1，就写入folder_2）
• 作业执行成功后，直接修改配置项将生效路径切换为新写入的路径，次日再交替写入另一个路径即可
• 切换完成后后台异步删除旧路径的文件即可，不需要等待删除完成
  这个方案的迁移耗时仅为更新配置的几毫秒，零API调用、零额外成本，是性能最高的实现方式。

方案2：使用S3原生批量操作服务（次优，适合不想改业务逻辑的场景） #

AWS S3提供原生的Batch Operations批量操作服务，不需要你自己维护并发逻辑，后台分布式执行迁移任务，比自行实现的多线程代码效率更高，还自带错误重试、进度监控能力：

• 可以直接指定folder_2为操作源前缀，不需要手动生成对象清单
• 配置批量拷贝规则：将指定前缀下的所有对象拷贝到folder_1前缀下，支持配置拷贝完成后自动删除源对象
• 提交任务后S3自动后台执行，不需要你维护运行资源，150GB数据通常几分钟就能完成

方案3：优化现有Python代码，大幅提升迁移效率 #

如果你不想引入新服务也不想改业务逻辑，只需要修改几行代码就能获得几十倍的性能提升：

1. 替换list_objects为带分页的list_objects_v2接口，避免遗漏超过1000个的文件
2. 引入多线程并发执行COPY操作，充分利用IO等待时间
3. 移除不必要的打印操作，减少日志IO损耗
   优化后代码示例：

import boto3
from concurrent.futures import ThreadPoolExecutor
from botocore.config import Config

# 配置S3客户端开启更高的并发支持
s3_config = Config(
    max_pool_connections=100,
    retries={'max_attempts': 10, 'mode': 'standard'}
)

def copy_new_data_to_official_location(bucket_name, src_prefix='folder_2/', dest_prefix='folder_1/', max_workers=50):
    s3 = boto3.client('s3', config=s3_config)
    paginator = s3.get_paginator('list_objects_v2')
    
    # 分页遍历所有待迁移对象
    for page in paginator.paginate(Bucket=bucket_name, Prefix=src_prefix):
        if 'Contents' not in page:
            continue
        # 多线程批量执行拷贝
        with ThreadPoolExecutor(max_workers=max_workers) as executor:
            for item in page['Contents']:
                src_key = item['Key']
                # 替换前缀生成目标路径，避免路径拼接错误
                dest_key = src_key.replace(src_prefix, dest_prefix, 1)
                copy_source = {'Bucket': bucket_name, 'Key': src_key}
                executor.submit(s3.copy, copy_source, bucket_name, dest_key)

注：max_workers参数可根据文件大小调整，小文件占比高的场景可以开到50-100，大文件占比高的场景调到10-20即可，S3 API的并发限额很高，正常不会触发限流。

删除操作优化建议 #

你流程中删除folder_1的步骤也不要逐个调用删除API，使用delete_objects接口批量删除，一次最多可删除1000个对象，比单次删除效率高10倍以上，成本也更低。

内容的提问来源于stack exchange，提问作者Ryan