AWS Step Functions中如何将ECS Fargate任务输出传递给后续状态

Fargate任务和Lambda的执行逻辑不同：Lambda由Step Functions直接托管调用，可以直接捕获函数返回值作为状态输出；而Fargate是ECS托管的独立容器运行环境，默认Step Functions只能拿到任务运行状态、资源ARN这类官方元数据，你需要通过约定的规则把容器内脚本的业务输出传递给状态机。

以下是两种常用实现方案： #

方案1：使用Step Functions原生Fargate输出捕获（推荐） #

这是当前最简便的方案，不需要额外新增中间节点，和你之前用Lambda传递参数的逻辑基本一致：

• 修改你的my_script.py，把需要传递的输出序列化为JSON后写入Step Functions约定的固定路径文件/tmp/state-machine-output/output.json，示例代码如下：

import json

# 你的业务逻辑代码
your_output = {"return_object": "hello_world_from_fargate", "custom_key": "your_custom_value"}

# 写入约定路径的输出文件
with open("/tmp/state-machine-output/output.json", "w") as f:
    json.dump(your_output, f)

• 修改ECS任务定义的容器配置，新增绑定挂载，挂载路径设置为/tmp/state-machine-output，该挂载由Step Functions自动管理，不需要你提前准备独立存储资源。
• 修改状态机中的Fargate RunTask 节点配置，新增参数启用输出捕获，同时配置ResultPath和你之前用Lambda的逻辑一致即可：

"RunFargateTask": {
  "Type": "Task",
  "Resource": "arn:aws:states:::ecs:runTask.sync",
  "Parameters": {
    "Cluster": "你的ECS集群ARN",
    "TaskDefinition": "你的任务定义ARN",
    "LaunchType": "FARGATE",
    "NetworkConfiguration": {
      // 你原来的网络配置
    },
    // 新增启用Fargate输出捕获
    "EnableFargateOutput": true
  },
  // 和Lambda用法完全一致，Fargate输出会写入这个路径
  "ResultPath": "$.fargate_output",
  "Next": "你的下一个Lambda节点"
}

配置完成后，你后续的状态节点可以直接从$.fargate_output路径读取你在Python脚本里写入的所有参数。 #

方案2：CloudWatch Logs中转（兼容旧环境） #

如果你使用的Step Functions版本不支持原生Fargate输出捕获，可以用日志中转的方式实现：

• 给你的Fargate任务定义配置awslogs日志驱动，把容器标准输出投递到指定的CloudWatch Logs日志组。
• 修改my_script.py，把需要传递的输出序列化为JSON后直接打印到标准输出，确保最后一行打印内容就是完整的输出JSON，不要夹杂其他无关日志：

import json

your_output = {"return_object": "hello_world_from_fargate", "custom_key": "your_custom_value"}
print(json.dumps(your_output))

• 在状态机的Fargate任务节点之后新增一个Lambda节点，逻辑如下：
  1. 从前置Fargate节点的输出中获取任务ARN、集群信息
  2. 请求CloudWatch Logs接口拉取对应任务的日志流，取最后一行日志内容解析为JSON
  3. 把解析后的JSON作为Lambda返回值，配置ResultPath写入状态机上下文传递给后续节点即可

注意事项 #

• 原生输出捕获的单状态输出上限为1MB，和Lambda的输出上限一致，如果你的输出数据超过这个阈值，建议把完整数据存入S3，只把S3存储路径作为输出传递给后续节点。
• 如果使用日志中转方案，建议给Lambda加上短时间重试配置，避免日志还未完成投递就触发拉取导致读取失败。

内容的提问来源于stack exchange，提问作者Frankster