如何用动态S3对象键触发CodePipeline并传递文件至CodeBuild

核心思路是用Lambda作为S3和CodePipeline的中间层，既触发Pipeline执行，又将动态的commitId（即S3对象键）和存储桶信息以Pipeline参数的形式传入，让后续的CodeBuild阶段能直接根据这些参数从S3拉取对应的zip包。

步骤1：配置S3事件触发Lambda #

在你的S3存储桶上配置事件通知，当有.zip文件上传时触发Lambda函数。事件类型选择ObjectCreated:Put，过滤后缀设为.zip（根据你的实际需求调整）。

步骤2：编写Lambda函数触发CodePipeline并传递参数 #

Lambda函数从S3事件中提取存储桶名、对象键（即commitId），然后调用CodePipeline的StartPipelineExecution API，将这些信息作为参数传入Pipeline。

示例Python代码：

import boto3
import json

codepipeline = boto3.client('codepipeline')

def lambda_handler(event, context):
    # 从S3事件中提取关键信息
    s3_record = event['Records'][0]['s3']
    bucket_name = s3_record['bucket']['name']
    object_key = s3_record['object']['key']
    commit_id = object_key.split('.')[0]  # 假设对象键格式为{commitId}.zip，提取commitId

    # 启动CodePipeline执行并传递参数
    response = codepipeline.start_pipeline_execution(
        name='你的Pipeline名称',
        pipelineExecutionParameters={
            'parameterValues': [
                {
                    'name': 'CommitId',
                    'value': commit_id
                },
                {
                    'name': 'S3BucketName',
                    'value': bucket_name
                },
                {
                    'name': 'S3ObjectKey',
                    'value': object_key
                }
            ]
        }
    )
    return {
        'statusCode': 200,
        'body': json.dumps(f"Pipeline started with execution ID: {response['pipelineExecutionId']}")
    }

给Lambda配置IAM权限：添加策略允许codepipeline:StartPipelineExecution操作，以及读取对应S3存储桶对象的权限（可选，用于验证上传文件）。

步骤3：修改CodePipeline配置，启用参数传递 #

在CodePipeline的设置中，添加CommitId、S3BucketName、S3ObjectKey这三个参数，确保后续阶段能引用这些参数值。

步骤4：在CodeBuild阶段动态拉取S3 zip包 #

修改CodeBuild项目的buildspec.yml，通过环境变量获取Pipeline传递的参数，再用AWS CLI从S3下载对应的zip文件：

version: 0.2

env:
  variables:
    # 从CodePipeline参数注入环境变量
    COMMIT_ID: ${CommitId}
    S3_BUCKET: ${S3BucketName}
    S3_OBJECT_KEY: ${S3ObjectKey}

phases:
  install:
    runtime-versions:
      python: 3.x
    commands:
      # 下载S3中的zip包到构建环境
      - aws s3 cp s3://${S3_BUCKET}/${S3_OBJECT_KEY} ./source.zip
      # 解压zip包到指定目录
      - unzip source.zip -d ./source
  build:
    commands:
      # 替换为你的实际构建命令
      - echo "开始构建，关联Commit ID: ${COMMIT_ID}"
  post_build:
    commands:
      # 发送Slack消息，示例用curl调用Slack Webhook
      - curl -X POST -H 'Content-type: application/json' --data '{"text":"新构建触发，Commit ID: '"${COMMIT_ID}"'"}' 你的Slack Webhook URL

给CodeBuild配置IAM权限：添加策略允许s3:GetObject操作对应存储桶的对象，以及允许调用Slack API（如果用Lambda转发消息，则添加调用Lambda的权限）。

关键说明 #

• 该方案既解决了S3动态键无法直接触发CodePipeline的问题，又能让CodeBuild获取到对应的zip包；
• CommitId通过Pipeline参数传递到CodeBuild，可直接用于Slack消息推送；
• 需确保所有IAM权限配置正确，避免因权限不足导致执行失败。

内容的提问来源于stack exchange，提问作者Jatin Mehrotra