如何在AWS Batch作业定义中动态引用AWS Secrets Manager的所有密钥？

目前AWS Batch作业定义本身不支持直接动态引用Secrets Manager存储中的所有密钥，必须在Secrets字段中显式指定每个密钥的名称和来源映射。不过可以通过以下两种替代方案实现类似的动态效果：

方案一：容器启动时拉取并加载所有密钥 #

不在Batch作业定义中配置单个密钥映射，而是让容器启动时主动拉取整个Secret并导出为环境变量，供业务脚本使用。

实现步骤： #

1. 修改容器启动命令：
   调整作业定义中的Command，先通过AWS CLI拉取Secret内容，解析后导出为环境变量，再执行原脚本。示例如下：

   Command:
     - bash
     - -c
     - |
       aws secretsmanager get-secret-value --secret-id ${APISECRETS} --query SecretString --output text | jq -r 'to_entries|map("\(.key)=\(.value)")|.[]' > /tmp/secrets.sh && source /tmp/secrets.sh && python run_sample_script.py --task_id ${TASK_ID}
   

2. 确保容器镜像依赖：
   容器镜像中需要安装aws-cli和jq工具（用于解析JSON格式的Secret）。如果基础镜像没有这些工具，需要在Dockerfile中添加安装步骤，比如：

   RUN apt-get update && apt-get install -y awscli jq
   # 针对Alpine镜像可替换为：
   # RUN apk add --no-cache aws-cli jq
   

3. 配置IAM权限：
   给Batch作业角色（SflabWorkerRole）添加读取目标Secret的权限，示例IAM策略：

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": "secretsmanager:GetSecretValue",
         "Resource": !Ref APISECRETS
       }
     ]
   }
   

方案二：用Lambda自动更新作业定义 #

通过Lambda监听Secrets Manager的Secret更新事件，当Secret新增密钥时，自动更新Batch作业定义的Secrets字段，将所有密钥添加到映射列表中。

实现步骤： #

1. 创建Lambda函数：
   编写代码实现以下逻辑：
   • 接收Secrets Manager的SecretVersionCreated事件触发
   • 调用secretsmanager:GetSecretValue获取当前Secret的所有键值对
   • 调用batch:UpdateJobDefinition API，更新目标作业定义的Secrets字段，生成新的作业定义版本
2. 配置Lambda权限：
   给Lambda角色添加以下权限：
   • 读取目标Secret的权限（secretsmanager:GetSecretValue）
   • 更新Batch作业定义的权限（batch:UpdateJobDefinition）
3. 配置Secrets Manager事件触发器：
   在目标Secret的配置中，添加事件通知，选择SecretVersionCreated事件，触发上述Lambda函数。

优缺点： #

• 优点：保持Batch作业通过环境变量获取密钥的原生方式，无需修改容器逻辑
• 缺点：需要额外维护Lambda函数和事件触发器，每次Secret更新会生成新的作业定义版本，需注意版本管理

内容的提问来源于stack exchange，提问作者Adrian