如何实现Lambda函数并行执行、单独重试且仅在全部成功后更新最终状态？

一、用AWS Step Functions实现（推荐） #

这完全匹配你要的并行执行、按需重试、统一最终更新的流程：

• 并行任务调度：借助Step Functions的Parallel状态，将多个Lambda任务设为独立分支，所有分支会同时启动执行。
• 按需重试配置：为每个Lambda任务节点添加Retry规则，可指定要重试的错误类型、最大重试次数、间隔策略（比如指数退避）。如果重试到上限仍失败，可通过Catch规则将任务转至死信队列（DLQ），或执行自定义失败处理逻辑。
• 最终状态更新触发：只有当Parallel状态下的所有分支都执行成功，流程才会进入“更新最终状态”节点（一般是另一个Lambda函数）。只要有任何分支失败且重试无果，整个流程就会终止在失败状态，不会触发最终更新。

核心配置示例 #

{
  "States": {
    "RunParallelTasks": {
      "Type": "Parallel",
      "Branches": [
        {
          "StartAt": "LambdaTask1",
          "States": {
            "LambdaTask1": {
              "Type": "Task",
              "Resource": "arn:aws:lambda:REGION:ACCOUNT_ID:function:YourTask1Lambda",
              "Retry": [
                {
                  "ErrorEquals": ["Lambda.ServiceException", "Lambda.AWSLambdaException"],
                  "IntervalSeconds": 2,
                  "MaxAttempts": 3,
                  "BackoffRate": 2
                }
              ],
              "Catch": [
                {
                  "ErrorEquals": ["States.ALL"],
                  "Next": "SendFailedTaskToDLQ"
                }
              ],
              "End": true
            }
          }
        },
        // 其他任务分支配置逻辑与上述示例一致
      ],
      "Next": "UpdateFinalStatus",
      "Catch": [
        {
          "ErrorEquals": ["States.ALL"],
          "Next": "HandleOverallFailure"
        }
      ]
    },
    "UpdateFinalStatus": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:REGION:ACCOUNT_ID:function:UpdateFinalStatusLambda",
      "End": true
    },
    "SendFailedTaskToDLQ": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:REGION:ACCOUNT_ID:function:SendToDLQLambda",
      "End": true
    },
    "HandleOverallFailure": {
      "Type": "Pass",
      "End": true
    }
  }
}

二、纯Lambda实现（无Step Functions） #

这种方式需要手动实现调度、重试和状态跟踪，复杂度较高：

• 并行调度：可以用一个“调度Lambda”，通过异步调用（InvocationType=Event）触发多个任务Lambda；或者用SQS批量发送任务消息，让任务Lambda监听队列消费。
• 重试机制：要么在任务Lambda内部编写重试逻辑，要么开启Lambda异步调用的自带重试（最多2次），同时为异步Lambda配置DLQ，接收重试失败的请求。
• 最终状态更新：需要一个“协调Lambda”跟踪所有任务状态。用DynamoDB存储每个任务的执行状态，任务Lambda完成后更新自身状态；协调Lambda可通过CloudWatch定时触发，或在任务Lambda完成后用SNS消息触发，检查所有任务是否都成功，只有全部满足条件才执行最终状态更新。

三、死信队列（DLQ）的作用 #

• Step Functions场景：如果需要保留重试后仍失败的任务上下文，方便后续排查或手动重试，DLQ是必要的。如果不需要保留失败任务，也可以直接在Catch中处理失败，无需DLQ。
• 纯Lambda场景：异步Lambda的DLQ是处理重试失败任务的关键，否则失败任务会直接丢失，无法追溯。协调逻辑也可结合DLQ标记任务最终失败，避免无限期等待。

四、确保最终状态仅在全任务成功后更新 #

• Step Functions方案：Parallel状态的特性是必须所有分支都成功，才会进入后续更新节点，天然保证最终更新只会在全任务成功后触发。
• 纯Lambda方案：必须用状态存储（如DynamoDB）记录每个任务的状态，协调逻辑每次检查所有任务状态是否均为“成功”，只有全部满足才执行更新。另外要添加防重复逻辑，比如给状态加“已更新”标记，或用分布式锁，避免重复触发更新。

内容的提问来源于stack exchange，提问作者Chad Johnson