如何将AWS ECS Fargate任务输出返回至Lambda？

1. 修正Lambda代码的参数错误 #

错误根源是环境变量未放在容器override的environment数组内，而是被当作containerOverrides的独立元素，同时键名大小写不符合要求（需用小写的name和value）。修正后的代码如下：

import boto3

def lambda_handler(event, context):
    client = boto3.client('ecs')
    run_task = client.run_task(
        cluster='arn:aws:ecs:us-east-1:12345:cluster/listmodels',
        enableExecuteCommand=True,
        group='family:listmodels',
        launchType='FARGATE',
        networkConfiguration={
            'awsvpcConfiguration': {
                'subnets': [
                    'subnet-12345',
                ],
                'securityGroups': [
                    'sg-12345',
                ],
                'assignPublicIp': 'ENABLED'
            }
        },
        overrides={
            'containerOverrides': [
                {
                    'name': 'listmodels',
                    'command': [
                        "ls",
                        "--target",
                        "dev"
                    ],
                    # 环境变量需放在当前容器的environment数组内
                    'environment': [
                        {'name': 'OUTPUT_LOCATION', 'value': 's3://sm1-retail/1.txt'}
                    ]
                }
            ],
            'executionRoleArn': 'arn:aws:iam::509094867785:role/ecsTaskExecutionRole',
            'taskRoleArn': 'arn:aws:iam::509094867785:role/ecsTaskExecutionRole',
        },
        propagateTags='TASK_DEFINITION',
        taskDefinition='listmodels-task'
    )
    return run_task

2. 完整实现方案：获取容器输出文件名并处理变更 #

ECS Fargate任务为异步执行，Lambda调用run_task后无法立即获取结果，需按以下流程实现需求：

步骤1：容器输出到S3 #

确保容器内逻辑能将文件名列表写入OUTPUT_LOCATION环境变量指定的S3路径，且任务执行角色（taskRoleArn）拥有该S3桶的写入权限。

步骤2：监听任务完成状态 #

Lambda启动任务后，需等待任务执行完毕才能读取S3输出文件，推荐两种方式：

• EventBridge事件触发：配置EventBridge规则，监听ECS任务状态变为STOPPED的事件，触发另一个Lambda读取S3文件并处理变更逻辑。规则事件模式示例：

  {
    "source": ["aws.ecs"],
    "detail-type": ["ECS Task State Change"],
    "detail": {
      "clusterArn": ["arn:aws:ecs:us-east-1:12345:cluster/listmodels"],
      "lastStatus": ["STOPPED"],
      "desiredStatus": ["STOPPED"]
    }
  }
  

• Lambda内轮询任务状态：在启动任务的Lambda中，循环调用describe_tasks接口查询任务状态，直到任务变为STOPPED后读取S3文件。注意Lambda最长执行时间为15分钟，若任务执行时长超过此限制，不建议使用该方式。

步骤3：处理文件名变更逻辑 #

在负责读取S3文件的Lambda中：

1. 读取S3输出文件内容，解析当前文件名列表。
2. 与存储在S3、DynamoDB等介质中的基准文件名列表对比，识别新增/删除/变更的文件。
3. 根据对比结果执行后续操作（如触发其他任务、发送通知等）。

3. 额外注意事项 #

• 确保ECS任务执行角色拥有S3写入权限，Lambda执行角色拥有ECS调用权限和S3读取权限。
• 容器输出的文件名建议用换行分隔，方便后续解析。
• 可在任务定义中预先配置环境变量默认值，避免每次在Lambda中重复覆盖。

内容的提问来源于stack exchange，提问作者sandeep007