如何在AWS分布式Map状态中捕获States.ExceedToleratedFailureThreshold错误

核心结论 #

可以捕获States.ExceedToleratedFailureThreshold错误，但你当前的配置问题在于分布式Map的错误触发逻辑与标准Map不同，直接在Map节点配置的Catch默认不会生效，需要调整配置逻辑。

为什么当前Catch未生效 #

分布式Map会启动独立的子执行（对应你配置的ExecutionType: STANDARD）处理每个批次。当子执行失败数量超过ToleratedFailurePercentage（你设为0，即任何失败都会触发）时，Map节点会抛出States.ExceedToleratedFailureThreshold错误，但默认情况下，Step Functions会直接将整个状态机标记为失败，而非触发Map节点的Catch规则——这是因为分布式Map的错误需要显式配置错误处理策略，确保状态机在触发阈值错误时进入指定的后续状态。

修复方案 #

1. 调整Map节点的Catch与Retry配置

明确指定捕获States.ExceedToleratedFailureThreshold错误，同时可添加Retry逻辑（可选，根据需求决定是否重试失败的子执行）。

2. 确保ItemProcessor的错误正确传递

Lambda函数需要抛出明确的异常（而非返回错误格式的Payload），这样Step Functions才会将子执行标记为失败，进而触发Map的容错阈值判断。

修改后的状态机配置示例 #

{
  "Next": "ReleaseSlot",
  "Type": "Map",
  "ItemReader": {
    "ReaderConfig": {
      "InputType": "CSV",
      "CSVHeaderLocation": "FIRST_ROW"
    },
    "Resource": "arn:aws:states:::s3:getObject",
    "Parameters": {
      "Bucket": "<BUCKET>",
      "Key.$": "$.filename"
    }
  },
  "ItemBatcher": {
    "MaxItemsPerBatch": 1000,
    "BatchInput": {
      "data.$": "$"
    }
  },
  "ItemProcessor": {
    "StartAt": "BatchImporter",
    "States": {
      "BatchImporter": {
        "Type": "Task",
        "Resource": "arn:aws:states:::lambda:invoke",
        "Parameters": {
          "FunctionName": "<FUNCTION_ARN>",
          "Payload": {
            "body": "$"
          }
        },
        "ResultPath": null,
        "OutputPath": null,
        // 可选：在ItemProcessor内部捕获Lambda错误，避免子执行直接失败（根据需求选择）
        "Catch": [
          {
            "ErrorEquals": ["Lambda.ServiceException", "Lambda.AWSLambdaException", "Lambda.SdkClientException"],
            "ResultPath": "$.error",
            "End": true
          }
        ],
        "End": true
      }
    },
    "ProcessorConfig": {
      "Mode": "DISTRIBUTED",
      "ExecutionType": "STANDARD"
    }
  },
  "MaxConcurrency": 16,
  "ToleratedFailurePercentage": 0,
  // 明确捕获阈值错误，同时保留States.All作为兜底
  "Catch": [
    {
      "ErrorEquals": ["States.ExceedToleratedFailureThreshold"],
      "Next": "ReleaseSlot"
    },
    {
      "ErrorEquals": ["States.All"],
      "Next": "ReleaseSlot"
    }
  ],
  // 可选：添加重试逻辑，重试失败的Map执行（根据需求调整次数和间隔）
  "Retry": [
    {
      "ErrorEquals": ["States.ExceedToleratedFailureThreshold"],
      "IntervalSeconds": 5,
      "MaxAttempts": 1,
      "BackoffRate": 2.0
    }
  ]
}

修复后逻辑说明 #

• 当任何子执行（Lambda调用）失败，且失败数量超过容错阈值时，Map节点会触发States.ExceedToleratedFailureThreshold错误，此时会进入Catch规则，跳转到ReleaseSlot状态，确保资源被正确释放，避免状态不一致。
• 若选择在ItemProcessor内部捕获Lambda错误，可以自定义子执行的失败逻辑（比如标记错误但不终止子执行），但需注意这会影响Map的失败计数——只有子执行被标记为失败时，才会计入容错阈值统计。

内容的提问来源于stack exchange，提问作者Axay