如何通过Jenkins Pipeline部署AWS Lambda作为Jenkins代理？

核心结论 #

完全可以通过Jenkins Pipeline实现你的需求：既可以在Pipeline中创建/部署作为Jenkins代理的AWS Lambda，也能把pytest测试任务转移到Lambda上执行，减轻Jenkins主服务器的负担。

具体实现流程（Jenkinsfile示例） #

1. 部署Jenkins代理Lambda（可选，若需动态更新代理环境） #

如果你的Lambda代理环境需要随代码迭代更新，可以在Pipeline中集成AWS CLI来打包并部署Lambda：

pipeline {
    agent any
    environment {
        ECR_REPO = 'your-ecr-repo-uri'
        LAMBDA_FUNCTION_NAME = 'jenkins-test-agent'
        AWS_REGION = 'us-east-1'
    }
    stages {
        stage('Deploy Lambda Jenkins Agent') {
            steps {
                script {
                    // 打包包含Jenkins代理、Python环境、测试依赖的Lambda代码包
                    sh 'zip -r lambda-agent.zip ./lambda-agent-src/'
                    // 更新Lambda函数代码
                    sh "aws lambda update-function-code --function-name ${LAMBDA_FUNCTION_NAME} --zip-file fileb://lambda-agent.zip --region ${AWS_REGION}"
                }
            }
        }

2. 在Lambda代理上执行pytest测试 #

借助Jenkins官方的AWS Lambda Plugin，可以直接指定Lambda作为任务执行代理，把测试任务转移到Lambda上：

stage('Run Pytest on Lambda') {
            agent {
                lambda {
                    functionName "${LAMBDA_FUNCTION_NAME}"
                    awsCredentials 'your-aws-credentials-id' // Jenkins中配置的AWS凭证ID
                    region "${AWS_REGION}"
                    // 传递测试所需的环境变量
                    environmentVariables = [
                        IMAGE_URI: "${ECR_REPO}:${BUILD_NUMBER}",
                        GIT_BRANCH: "${GIT_BRANCH}"
                    ]
                }
            }
            steps {
                script {
                    // 在Lambda代理中拉取镜像并执行测试
                    sh "docker pull ${IMAGE_URI}"
                    sh "docker run --rm ${IMAGE_URI} pytest tests/ --junitxml=test-results.xml"
                    // 收集测试报告回传给Jenkins
                    junit 'test-results.xml'
                }
            }
        }

3. 推送镜像至ECR（测试通过后） #

测试成功后，继续完成原有流程的镜像推送：

stage('Push Image to ECR') {
            when {
                success()
            }
            steps {
                script {
                    sh "aws ecr get-login-password --region ${AWS_REGION} | docker login --username AWS --password-stdin ${ECR_REPO}"
                    sh "docker push ${IMAGE_URI}"
                }
            }
        }
    }
}

关键注意事项 #

• Lambda资源限制：Lambda最大执行时间为15分钟，内存上限为10GB，需确保你的pytest测试任务在这个范围内完成；若需运行Docker，需使用Lambda的容器运行时。
• IAM权限配置：给Jenkins使用的IAM用户分配以下权限：lambda:UpdateFunctionCode、lambda:InvokeFunction、ecr:GetAuthorizationToken、ecr:BatchCheckLayerAvailability等。
• 冷启动优化：Lambda首次启动会有冷启动延迟，可通过配置预留并发或预热脚本缓解。
• 测试报告回传：务必在Lambda中生成JUnit格式的测试报告，通过Jenkins的junit插件收集，以便在Jenkins界面查看测试结果。

内容的提问来源于stack exchange，提问作者moon