如何在单个GCP/AWS项目中高效管理多开发环境

核心基础：统一标签体系 #

所有资源强制添加以下标签，作为隔离、追踪、销毁的唯一依据：

• EnvironmentId: 全局唯一环境标识（如test-20240520-001、loadtest-api-v3）
• EnvironmentType: 环境类型（test/loadtest/staging）
• Owner: 触发流水线的用户/团队标识
• ExpirationTime: 自动销毁时间（可选，用于临时环境自动清理）

CDKTF 实现方案 #

1. 组件化环境模板 #

用CDKTF封装通用环境组件，通过参数化生成不同环境实例：

import { Construct } from 'constructs';
import { TerraformStack } from 'cdktf';
import * as aws from '@cdktf/provider-aws';

export class LabEnvironment extends Construct {
  constructor(scope: Construct, name: string, props: {
    envId: string;
    envType: string;
    owner: string;
    imageUri: string;
    webServerVersion: string;
  }) {
    super(scope, name);

    // 统一标签集合
    const commonTags = {
      EnvironmentId: props.envId,
      EnvironmentType: props.envType,
      Owner: props.owner
    };

    // 带标签的VPC资源
    const vpc = new aws.vpc.Vpc(this, 'Vpc', {
      tags: { ...commonTags, Name: `${props.envId}-vpc` }
    });

    // 带标签的ALB资源
    const alb = new aws.lb.LoadBalancer(this, 'Alb', {
      tags: { ...commonTags, Name: `${props.envId}-alb` }
    });

    // 带标签的Fargate服务
    const fargateService = new aws.ecs.Service(this, 'FargateService', {
      tags: commonTags,
      // 其他Fargate配置（引用传入的imageUri等参数）
    });

    // 关联环境标识的FQDN配置
    new aws.route53.Record(this, 'FqdnRecord', {
      name: `${props.envId}.example.com`,
      // 其他DNS/TLS配置
    });
  }
}

2. 多栈单项目部署模式 #

每个环境对应独立的CDKTF Stack，所有Stack部署在同一AWS项目下：

• 创建环境：执行 cdktf deploy --stack <env-id-stack>
• 销毁环境：直接执行 cdktf destroy --stack <env-id-stack>，自动清理该Stack下所有资源

3. 应急销毁备选 #

若多栈模式失效，可通过AWS CLI按标签批量删除资源（需按资源依赖顺序执行）：

# 删除Fargate服务
aws ecs list-services --cluster <cluster-name> --filters "Name=tag:EnvironmentId,Values=test-20240520-001" --query "serviceArns[]" | xargs aws ecs delete-service --cluster <cluster-name> --service

# 删除ALB
aws elbv2 describe-load-balancers --filters "Name=tag:EnvironmentId,Values=test-20240520-001" --query "LoadBalancers[*].LoadBalancerArn" | xargs aws elbv2 delete-load-balancer --load-balancer-arn

# 删除VPC（需先清理VPC内所有资源）
aws ec2 describe-vpcs --filters "Name=tag:EnvironmentId,Values=test-20240520-001" --query "Vpcs[*].VpcId" | xargs aws ec2 delete-vpc

Pulumi 实现方案 #

1. 组件化环境模板 #

用Pulumi的ComponentResource封装可复用环境：

import pulumi
import pulumi_aws as aws

class LabEnvironment(pulumi.ComponentResource):
    def __init__(self, name: str, props: pulumi.Inputs, opts=None):
        super().__init__("lab:environment:LabEnvironment", name, props, opts)

        env_id = props["env_id"]
        common_tags = {
            "EnvironmentId": env_id,
            "EnvironmentType": props["env_type"],
            "Owner": props["owner"]
        }

        # 创建带标签的VPC
        vpc = aws.ec2.Vpc(f"{env_id}-vpc",
            tags={**common_tags, "Name": f"{env_id}-vpc"},
            opts=pulumi.ResourceOptions(parent=self))

        # 创建带标签的ALB
        alb = aws.lb.LoadBalancer(f"{env_id}-alb",
            tags=common_tags,
            opts=pulumi.ResourceOptions(parent=self))

        # 创建带标签的Fargate服务
        fargate_service = aws.ecs.Service(f"{env_id}-fargate",
            tags=common_tags,
            # 其他Fargate配置
            opts=pulumi.ResourceOptions(parent=self))

        # 导出环境FQDN
        pulumi.export(f"{env_id}-fqdn", f"{env_id}.example.com")

2. 多Stack部署模式 #

每个环境对应独立的Pulumi Stack，关联同一AWS项目：

• 创建环境：pulumi up -s <org>/<project>/<env-id>
• 销毁环境：pulumi destroy -s <org>/<project>/<env-id>

3. 自动销毁优化 #

结合ExpirationTime标签，编写定时Lambda函数，筛选过期环境并触发Pulumi销毁命令，实现临时环境自动清理。

流水线适配调整 #

1. 触发参数增强：HTTP触发时强制传入EnvironmentId、Owner、ExpirationTime（可选）参数，确保环境标识唯一。
2. 镜像构建优化：ECR镜像按${ENV_ID}-${WEB_VERSION}打标签，避免重复构建：

docker build -t <ecr-repo-uri>:${ENV_ID}-${WEB_VERSION} .

3. 部署阶段适配：根据EnvironmentId选择对应的CDKTF/Pulumi Stack，或传入参数生成环境实例。

计费追踪方案 #

1. AWS Cost Explorer：创建自定义成本报告，按EnvironmentId和EnvironmentType分组，查看单个环境的费用明细。
2. 账单标签规则：在AWS Billing中设置标签过滤器，将每个EnvironmentId的费用关联到对应团队/用户。

关键注意事项 #

• 所有资源（含IAM角色、安全组、S3桶等）必须绑定EnvironmentId标签，禁止遗漏。
• 优先选择多Stack模式，销毁操作更直接，资源隔离更清晰，避免单栈内一个环境出错影响其他环境。
• 临时环境必须设置ExpirationTime标签，配合自动清理机制避免资源浪费。

内容的提问来源于stack exchange，提问作者LV426