解决S3桶文件复制的时区时间比较错误及百万文件适配问题

一、修复时区比较错误 #

错误原因 #

当目标桶为空时，代码把target_max_last_modified_time设为datetime.min——这是个无时区感知的datetime对象；而从S3拿到的source_last_modified_time是带时区感知的对象，两者根本没法直接比较，才抛出了TypeError。

修复代码 #

1. 修正空桶时的时区设置：
   把target_max_last_modified_time = datetime.min改成target_max_last_modified_time = datetime.min.replace(tzinfo=timezone.utc)，让它变成带UTC时区的对象，和源文件时间保持一致格式。
2. 统一源文件时间时区（可选但更严谨）：
   把源文件的LastModified也转成UTC时区，避免潜在的时区差异问题。

修改后的copy_files关键片段：

# 目标桶为空时，设置带UTC时区的最小时间
if not target_max_last_modified_time:
    target_max_last_modified_time = datetime.min.replace(tzinfo=timezone.utc)

# ... 其他代码 ...

# 统一转成UTC时区后再做比较
source_last_modified_time = file_obj['LastModified'].astimezone(timezone.utc)
if source_last_modified_time > target_max_last_modified_time:
    # 执行复制操作...

二、百万级文件场景的优化 #

当前代码完全扛不住百万级文件，以下是核心问题和优化方案：

问题1：列表对象未分页 #

list_objects_v2默认最多返回1000个对象，超过这个数就会截断，直接漏掉大量文件。

优化：用分页器遍历所有对象 #

用boto3的Paginator自动处理分页逻辑：

# 替换原有的list_objects_v2调用
paginator = s3_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(Bucket=source_bucket)

for page in page_iterator:
    files = page.get('Contents', [])
    for file_obj in files:
        # 原有的文件名检查、时间判断等逻辑...

问题2：全量遍历效率极低 #

每次运行都把源桶所有文件扫一遍，百万级场景下耗时极长，纯纯浪费资源。

优化：只获取新增文件 #

不用全量遍历，只筛选出比目标桶最大修改时间新的文件：

# 获取目标桶最大修改时间后，构造分页器
paginator = s3_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(Bucket=source_bucket)

# 遍历每页时过滤旧文件
for page in page_iterator:
    files = page.get('Contents', [])
    for file_obj in files:
        source_last_modified = file_obj['LastModified'].astimezone(timezone.utc)
        if source_last_modified <= target_max_last_modified_time:
            continue  # 跳过已同步过的旧文件
        # 后续的文件名检查、复制逻辑...

如果文件量极大，还可以用S3 Inventory + Athena先查询出符合条件的文件列表，再批量复制，效率会更高。

问题3：同步复制速度太慢 #

单线程同步复制百万级文件，速度慢到离谱。

优化：并行复制 #

• 用concurrent.futures.ThreadPoolExecutor实现多线程复制，注意控制并发数（别触发S3的API限流）；
• 用boto3的S3Transfer工具，它自带高效的批量传输能力；
• 超大规模场景直接用S3 Batch Operations，提交批量复制任务让AWS后台处理，省心又高效。

问题4：获取最大修改时间的函数未分页 #

原get_max_last_modified_time函数同样没处理分页，桶内文件超过1000个时，拿不到真正的最大修改时间。

修复后的get_max_last_modified_time函数： #

def get_max_last_modified_time(bucket):
    s3_client = boto3.client('s3')
    paginator = s3_client.get_paginator('list_objects_v2')
    page_iterator = paginator.paginate(Bucket=bucket)
    
    max_time = None
    for page in page_iterator:
        files = page.get('Contents', [])
        if not files:
            continue
        # 转成UTC时区的时间列表
        last_modified_times = [file['LastModified'].astimezone(timezone.utc) for file in files]
        current_page_max = max(last_modified_times)
        if max_time is None or current_page_max > max_time:
            max_time = current_page_max
    return max_time

内容的提问来源于stack exchange，提问作者Abiodun Adeoye