基于多S3路径事件触发传递文件路径调用同一AWS Lambda的实现方案

嗨，你完全不需要创建多个Lambda函数！单个Lambda就可以轻松处理不同S3路径的触发请求，我来一步步给你讲清楚怎么做：

1. 给多个S3路径配置同一个Lambda触发 #

进入S3控制台，找到你的目标存储桶，分别为/abc/abc1/和/xyz/xyz1/这两个前缀配置对象创建事件：

• 选择事件类型为「所有对象创建事件」
• 目标选择你的Lambda1函数
  这样不管哪个路径下有新的parquet文件上传，都会自动触发同一个Lambda执行。

2. 在Lambda中获取触发的文件路径 #

S3触发Lambda时，会把触发事件的详细信息作为参数传递给Lambda的处理函数。你可以直接从事件对象中提取到具体的文件路径，以下是Python示例代码：

import boto3

def lambda_handler(event, context):
    # 从S3触发事件中提取文件信息
    s3_record = event['Records'][0]['s3']
    bucket_name = s3_record['bucket']['name']
    file_key = s3_record['object']['key']
    
    # 拼接完整的S3文件路径（也可以直接用bucket+key操作文件）
    full_s3_path = f"s3://{bucket_name}/{file_key}"
    
    # 这里执行你原本的业务逻辑：读取parquet文件、迁移到DynamoDB
    # 比如用pandas读取parquet：
    # import pandas as pd
    # df = pd.read_parquet(full_s3_path)
    # 后续处理数据并写入DynamoDB...
    
    print(f"正在处理文件：{full_s3_path}")
    return {
        'statusCode': 200,
        'body': f"成功处理文件：{full_s3_path}"
    }

不管是/abc/abc1/abc_1.parquet还是/xyz/xyz1/xyz_1.parquet触发，Lambda都会拿到对应的file_key，直接复用你的业务逻辑即可。

3. 可选：针对不同路径做差异化处理 #

如果后续需要给不同路径的文件做不同的逻辑处理，只需要通过file_key的前缀判断即可，比如：

if file_key.startswith('abc/abc1/'):
    # 处理abc路径下文件的专属逻辑
    process_abc_files(full_s3_path)
elif file_key.startswith('xyz/xyz1/'):
    # 处理xyz路径下文件的专属逻辑
    process_xyz_files(full_s3_path)

额外注意事项 #

• 确保Lambda的执行角色拥有读取对应S3存储桶的权限，以及写入DynamoDB的权限，避免权限报错；
• 若文件过大，可以考虑搭配S3 Batch Operations或者分步处理，避免Lambda超时。

内容的提问来源于stack exchange，提问作者NNM