如何为多个AWS DMS全量加载完成任务创建单个EventBridge规则

1. 简化EventBridge规则配置 #

不需要为每个DMS任务单独创建规则，仅需一个规则即可匹配所有目标任务的全量加载完成事件（对应DMS-EVENT-0079，即复制任务因全量加载完成而停止的事件）。

两种匹配方式：

• 匹配所有DMS任务：使用资源通配符arn:aws:dms:*:*:task:*（可通过CloudFormation的!Sub动态生成适配当前账号和区域的通配符）
• 匹配指定多个DMS任务：保留资源列表，通过CloudFormation参数或列表类型批量传入任务ARN，避免硬编码

以下是CloudFormation示例（匹配所有DMS任务的场景）：

AWSTemplateFormatVersion: '2010-09-09'
Resources:
  DMSFullLoadCompleteRule:
    Type: AWS::Events::Rule
    Properties:
      Description: "触发Lambda处理DMS全量加载完成事件"
      EventPattern: !Sub |
        {
          "detail-type": ["DMS Replication Task State Change"],
          "source": ["aws.dms"],
          "account": ["${AWS::AccountId}"],
          "region": ["${AWS::Region}"],
          "resources": ["arn:aws:dms:${AWS::Region}:${AWS::AccountId}:task:*"],
          "detail": {
            "type": ["REPLICATION_TASK"],
            "category": ["StateChange"],
            "eventType": ["REPLICATION_TASK_STOPPED"],
            "eventId": ["DMS-EVENT-0079"]
          }
        }
      Targets:
        - Arn: !GetAtt YourLambdaFunction.Arn
          Id: "LambdaTargetForDMSFullLoad"

  # 给Lambda添加EventBridge触发权限
  LambdaInvokePermission:
    Type: AWS::Lambda::Permission
    Properties:
      FunctionName: !Ref YourLambdaFunction
      Action: "lambda:InvokeFunction"
      Principal: "events.amazonaws.com"
      SourceArn: !GetAtt DMSFullLoadCompleteRule.Arn

如果要匹配指定多个任务，可将resources改为参数列表：

Parameters:
  DmsTaskArns:
    Type: List<String>
    Description: 需要监控的DMS复制任务ARN列表

Resources:
  DMSFullLoadCompleteRule:
    Type: AWS::Events::Rule
    Properties:
      # ...其他属性保持不变...
      EventPattern: !Sub |
        {
          # ...其他匹配条件保持不变...
          "resources": ${DmsTaskArns},
          # ...detail部分保持不变...
        }

2. 在Lambda中提取触发任务的ARN #

DMS发送的EventBridge事件本身已包含触发事件的任务ARN，无需额外配置输入转换，Lambda可直接从事件结构中读取：

Python Lambda示例代码：

import json

def lambda_handler(event, context):
    # 从事件的resources字段获取触发的DMS任务ARN
    dms_task_arn = event['resources'][0]
    print(f"收到全量加载完成事件，对应DMS任务：{dms_task_arn}")
    
    # 此处添加你的业务逻辑，比如Redshift数据校验、通知告警等
    
    return {
        'statusCode': 200,
        'body': json.dumps(f"已处理任务：{dms_task_arn}")
    }

事件结构参考：

触发Lambda的EventBridge事件核心结构如下，resources数组首个元素或detail.resourceArn字段均为对应DMS任务的ARN：

{
  "version": "0",
  "id": "abc123-xxxx-xxxx",
  "detail-type": "DMS Replication Task State Change",
  "source": "aws.dms",
  "account": "123456789012",
  "time": "2024-05-20T12:34:56Z",
  "region": "us-east-1",
  "resources": ["arn:aws:dms:us-east-1:123456789012:task:my-dms-task-123"],
  "detail": {
    "type": "REPLICATION_TASK",
    "category": "StateChange",
    "eventType": "REPLICATION_TASK_STOPPED",
    "eventId": "DMS-EVENT-0079",
    "resourceArn": "arn:aws:dms:us-east-1:123456789012:task:my-dms-task-123"
  }
}

3. 可选：用InputTransformer简化传递给Lambda的参数 #

如果仅需传递任务ARN而非完整事件，可在EventBridge规则的Targets中配置InputTransformer：

Targets:
  - Arn: !GetAtt YourLambdaFunction.Arn
    Id: "LambdaTargetForDMSFullLoad"
    InputTransformer:
      InputPathsMap:
        "taskArn": "$.resources[0]"
      InputTemplate: '{"dms_task_arn": <taskArn>}'

此时Lambda收到的事件会简化为：

{"dms_task_arn": "arn:aws:dms:us-east-1:123456789012:task:my-dms-task-123"}

内容的提问来源于stack exchange，提问作者Ilia