如何在50个AWS Glue Jobs全部执行成功后触发事件或Lambda函数

方案1：利用AWS Step Functions内置能力（推荐） #

既然你已经用Step Functions触发50个并发Glue Jobs，最直接可靠的方式是在Step Functions工作流中添加后续步骤，等所有Glue Job成功完成后自动触发目标操作。

具体实现步骤 #

1. 配置Map状态并发执行Glue Jobs
   使用Step Functions的Map状态，设置MaxConcurrency为50，遍历包含50个Glue Job参数的数组。每个子任务调用Glue的startJobRun.sync集成（同步等待Job完成），确保只有当单个Job成功结束后才会继续。

2. 添加后续触发步骤
   在Map状态的Next字段中指定后续状态，该状态可以是：

   • 调用AWS Lambda函数
   • 触发另一个AWS Step Functions工作流
   • 发送EventBridge事件

状态机示例片段 #

{
  "States": {
    "RunConcurrentGlueJobs": {
      "Type": "Map",
      "ItemProcessor": {
        "ProcessorConfig": {
          "Mode": "INLINE",
          "ExecutionType": "STANDARD"
        },
        "StartAt": "ExecuteGlueJob",
        "States": {
          "ExecuteGlueJob": {
            "Type": "Task",
            "Resource": "arn:aws:states:::glue:startJobRun.sync",
            "Parameters": {
              "JobName.$": "$.jobName",
              "Arguments.$": "$.arguments" // 可选：传递Job参数
            },
            "End": true
          }
        }
      },
      "ItemsPath": "$.glueJobList", // 输入数组包含50个Job的配置
      "MaxConcurrency": 50,
      "Next": "PostCompletionAction"
    },
    "PostCompletionAction": {
      "Type": "Task",
      // 示例1：调用Lambda函数
      "Resource": "arn:aws:states:::lambda:invoke",
      "Parameters": {
        "FunctionName": "your-target-lambda",
        "Payload.$": "$"
      },
      // 示例2：触发另一个Step Functions（替换上面的Resource和Parameters）
      // "Resource": "arn:aws:states:::states:startExecution",
      // "Parameters": {
      //   "StateMachineArn": "arn:aws:states:us-east-1:123456789012:stateMachine:your-target-sfn",
      //   "Input.$": "$"
      // },
      "End": true
    }
  }
}

优势 #

• 无需额外组件，工作流闭环管理
• Step Functions自动处理Glue Job的状态跟踪，无需手动计数或轮询
• 内置重试、错误捕获机制，可与你已有的EventBridge失败通知互补

方案2：Lambda + DynamoDB计数器（适用于无法修改现有Step Functions的场景） #

如果不想调整现有Step Functions工作流，可以用Lambda配合DynamoDB实现批量成功计数，达到阈值后触发目标操作。

具体实现步骤 #

1. 配置EventBridge规则
   保留现有失败通知规则，新增一条规则捕获所有Glue Job的SUCCEEDED状态变更事件，触发目标Lambda函数。

2. DynamoDB计数表设计
   创建一张DynamoDB表，主键使用批次ID（比如Step Functions的执行ID，因为每批50个Job对应一次Step Functions执行），附加字段：

   • successfulJobs: 成功完成的Job数量
   • completedJobRuns: 存储已成功的Job Run ID（避免重复计数，处理EventBridge事件幂等性）

3. Lambda计数逻辑

   • 从EventBridge事件中提取JobName、RunId和触发该批Job的Step Functions执行ID（可通过Glue Job的Arguments传递Step Functions执行ID）
   • 查询DynamoDB表，检查当前RunId是否已记录，避免重复计数
   • 若未记录，递增successfulJobs计数
   • 当successfulJobs等于50时，执行目标操作（调用Lambda/Step Functions、发送事件），随后可重置该批次的计数或标记为完成

注意事项 #

• 必须处理幂等性：EventBridge可能重复发送事件，需通过RunId去重
• 要关联批次：确保计数是针对同一批50个Job，避免不同批次的计数混淆
• 异常处理：若某批Job中有失败，需清空对应批次的计数，避免残留数据影响后续批次

方案对比 #

内容的提问来源于stack exchange，提问作者jamesT