如何通过EventBridge将SQS消息体作为环境变量传递给AWS Batch容器

问题场景 #

我需要搭建一套工作流：通过AWS EventBridge Pipes连接SQS队列与AWS Batch，实现SQS收到的JSON消息自动触发Batch作业，并且把消息体作为环境变量传递给作业容器。

初始配置如下：

• SQS队列：创建了名为my-batch-queue的队列，专门接收JSON格式的触发消息
• AWS Batch作业定义：基于Amazon ECR中的Docker镜像定义作业，给SQS_MESSAGE_BODY环境变量设置了默认值
• EventBridge Pipe：把SQS队列设为源，Batch作业队列设为目标，在target_parameters的batch_job_parameters里配置container_overrides，尝试将SQS消息体（$.body）赋值给SQS_MESSAGE_BODY

但实际运行时，Node.js应用读取process.env.SQS_MESSAGE_BODY始终只能拿到默认值，覆盖操作完全没生效，试了Pipe的parameters属性也没用。后来在Pipe的执行日志里看到报错：

Target invocation failed with error from Batch: Container overrides should not be set for ecsProperties jobs

根因分析 #

问题出在Batch作业定义的字段使用错误上：如果作业定义里用了ecs_properties来配置容器参数，AWS会将该作业识别为ECS专属类型的作业，这种类型不支持通过EventBridge Pipes设置container_overrides，所以环境变量覆盖操作根本无法生效。

解决方案 #

把Batch作业定义中的ecs_properties替换为container_properties——这是Fargate类型Batch作业的标准容器配置字段，修正后就能支持容器覆盖操作了。

修正后的Terraform作业定义配置如下：

resource "aws_batch_job_definition" "job" {
  name                  = "batch-job-definition"
  type                  = "container"
  platform_capabilities = ["FARGATE"]
  container_properties = jsonencode({
    image = "xxx.aws-batch:latest"
    environment = [
      {
        name  = "SQS_MESSAGE_BODY"
        value = "$.body"  # 默认值（可通过Pipe覆盖）
      }
    ]
    resourceRequirements = [
      {
        type  = "VCPU"
        value = "1.0"
      },
      {
        type  = "MEMORY"
        value = "2048"
      }
    ]
    executionRoleArn = "arn:aws:iam::xxx:role/AWSBatchExecutionRole"
    jobRoleArn       = "arn:aws:iam::xxx:role/AWSBatchExecutionRole"
    runtimePlatform = {
      cpuArchitecture       = "X86_64"
      operatingSystemFamily = "LINUX"
    }
  })
}

另外，确保EventBridge Pipe的目标配置中，container_overrides的环境变量映射正确：

"target_parameters": {
  "batch_job_parameters": {
    "job_definition": "arn:aws:batch:<区域>:<账号ID>:job-definition/batch-job-definition:<版本>",
    "job_name": "sqs-triggered-batch-job",
    "container_overrides": {
      "environment": [
        {
          "name": "SQS_MESSAGE_BODY",
          "value": "$.body"
        }
      ]
    }
  }
}

完成以上修改后，Batch作业就能正确接收SQS消息体作为环境变量，Node.js应用也能读取到覆盖后的实际值了。

内容的提问来源于stack exchange，提问作者Max Ferreira