S3复制JSON文件至子目录时出现冗余文件问题排查

问题排查与修复 #

1. 子目录排除逻辑的边界错误 #

代码中用于排除子目录对象的判断逻辑依赖于source_folder的格式（是否带末尾斜杠），极易出现误判：

# 原逻辑
if '/' in obj.key[len(source_folder):]:
    continue

• 当source_folder不带末尾斜杠（如"20230225"）时，源目录下的直接文件（如20230225/file.json）的obj.key[len(source_folder):]结果为"/file.json"，包含/，会被错误排除，导致无法复制目标文件；
• 若为避免误判给source_folder加末尾斜杠，当S3分页遍历返回新复制的目标文件时，虽能被此判断排除，但异步复制的竞态可能导致文件提前出现在遍历结果中，仍有重复处理风险。

修复方案：
改用路径分割的方式精准判断文件是否直接位于源目录下：

# 标准化source_prefix，确保末尾带斜杠
source_prefix = source_folder.strip('/') + '/'
# 计算文件在源目录下的相对路径
relative_path = obj.key[len(source_prefix):] if obj.key.startswith(source_prefix) else obj.key
# 若相对路径包含/，说明在子目录中，跳过
if '/' in relative_path:
    continue

2. 异步复制与遍历的竞态问题 #

代码使用s3transfer异步复制，遍历S3对象过程中，新复制的文件可能被后续分页请求返回。现有代码的目标目录判断逻辑若存在格式漏洞（如dest_prefix末尾缺斜杠），会导致判断失效，进而重复复制文件生成冗余副本。

修复方案：
遍历开始前一次性获取所有源文件列表，避免动态遍历过程中获取到新生成的文件：

# 提前获取所有源目录下的对象，隔绝异步复制的干扰
source_prefix = source_folder.strip('/') + '/'
source_objects = list(src_bucket.objects.filter(Prefix=source_prefix))

for obj in source_objects:
    # 后续处理逻辑不变
    ...

3. 目标路径生成的潜在风险 #

代码中使用obj.key.replace(source_folder, dest_prefix, 1)生成目标路径，若source_folder不是obj.key的前缀（如格式错误），会生成无效路径，甚至重复路径导致覆盖或冗余。

修复方案：
先验证前缀匹配，再通过相对路径拼接目标key：

# 替换原dest_key生成逻辑
source_prefix = source_folder.strip('/') + '/'
if obj.key.startswith(source_prefix):
    relative_path = obj.key[len(source_prefix):]
    dest_key = f"{dest_prefix}{relative_path}"
else:
    # 非源目录文件直接跳过
    continue

4. 统计函数的准确性问题 #

count_files函数会统计所有以s3_dir开头的对象，包括S3中的目录占位符（空对象），导致统计结果偏大，可能误判为冗余文件。

修复方案：
修改统计函数，仅统计实际文件（排除目录占位符）：

def count_files(s3_bucket, s3_dir):
    s3_resource = boto3.resource('s3')
    bucket = s3_resource.Bucket(s3_bucket)
    s3_prefix = s3_dir.strip('/') + '/'
    count = 0
    for obj in bucket.objects.filter(Prefix=s3_prefix):
        # 跳过目录占位符（key末尾为/的空对象）
        if not obj.key.endswith('/'):
            count += 1
    return count

总结 #

最可能导致冗余文件的核心原因是异步复制与动态遍历的竞态：遍历过程中获取到新复制的文件，且子目录排除逻辑因source_folder格式问题失效，导致循环生成多层级的文件副本。通过提前获取源文件列表、优化路径判断逻辑、稳定目标路径生成方式，可彻底解决该问题。

内容的提问来源于stack exchange，提问作者jeremy radcliff