Python Lambda实现S3同桶文件复制时遭遇无限循环问题求助

无限循环的核心原因是S3事件触发的递归调用：当Lambda将文件复制到fileProcessed/目录后，这个新文件的上传操作会再次触发S3的Put事件，导致Lambda重复执行，进而不断复制文件形成循环。同时你的代码没有限制仅处理根目录的文件，进一步加剧了这个问题。

修复步骤与优化后的代码 #

1. 关键修复点 #

• 初始化日志记录器（原代码中LOGGER未定义，会直接报错）
• 添加路径过滤：仅处理根目录的文件（即src_key不包含/）
• 排除fileProcessed/目录下的文件，避免重复触发
• 简化复制逻辑，移除不必要的重复复制操作

2. 优化后的代码 #

import os
import logging
import boto3

# 初始化日志记录器
LOGGER = logging.getLogger()
LOGGER.setLevel(logging.INFO)

DST_BUCKET = os.environ.get('DST_BUCKET')
REGION = os.environ.get('REGION')

s3 = boto3.resource('s3', region_name=REGION)

def handler(event, context):
    LOGGER.info(f'Event structure: {event}')
    LOGGER.info(f'DST_BUCKET: {DST_BUCKET}')

    for record in event['Records']:
        src_bucket = record['s3']['bucket']['name']
        src_key = record['s3']['object']['key']

        # 过滤条件：仅处理根目录文件，且排除fileProcessed/下的文件
        if '/' in src_key or src_key.startswith('fileProcessed/'):
            LOGGER.info(f"Skipping non-root or processed file: {src_key}")
            continue

        copy_source = {
            'Bucket': src_bucket,
            'Key': src_key
        }
        
        try:
            # 复制到fileProcessed/目录
            target_key = f'fileProcessed/{src_key}'
            s3.Bucket(src_bucket).copy(copy_source, target_key)
            
            # 验证复制结果
            s3.Object(src_bucket, target_key).load()
            LOGGER.info(f"File {src_key} copied to {target_key} successfully")

        except Exception as e:
            LOGGER.error(f"Error processing file {src_key}: {str(e)}")
            return {"error": str(e)}

    return {'status': 'ok'}

代码说明 #

• 路径过滤：通过if '/' in src_key or src_key.startswith('fileProcessed/')判断，只处理根目录下的文件，同时跳过已经在fileProcessed/里的文件，从源头阻止循环触发。
• 日志修复：添加了LOGGER的初始化，确保日志能正常输出，方便调试。
• 简化逻辑：移除了原代码中重复的bucket.copy(copy_source, src_key)操作（这步是将文件复制回原路径，完全多余），直接专注于将根目录文件复制到fileProcessed/。

额外建议 #

• 确保Lambda的S3触发事件配置中，不要勾选“递归触发”（虽然代码已经过滤，但配置层面双重保险更好）
• 如果需要处理带后缀的根目录文件（比如仅处理.txt），可以在过滤条件中添加and src_key.endswith('.txt')进一步限制

内容的提问来源于stack exchange，提问作者stonewalker747