AWS ECS Fargate集群能否混合部署EC2 GPU任务及配置咨询

1. ECS集群是否支持混合Fargate与EC2任务 #

• 无需新建集群，AWS ECS原生支持在同一集群中同时运行Fargate任务和EC2任务。你可以直接在现有的staging和production集群中添加EC2容量提供者，关联对应的GPU型EC2自动扩缩容组，用于部署带GPU的任务。

2. 配置GPU EC2任务的关键步骤（Terraform视角） #

• 创建GPU型EC2自动扩缩容组：选择支持GPU的实例类型（如g4dn.xlarge、p3.2xlarge等），使用AWS官方提供的预装NVIDIA驱动的ECS优化AMI。
• 为ECS集群添加EC2容量提供者：将上述自动扩缩容组与集群关联，配置自动扩缩容策略。
• 定义ECS任务定义：指定requiresCompatibilities为["EC2"]，在containerDefinitions中通过resourceRequirements声明GPU资源（例：[{"type": "GPU", "value": "1"}]）。
• 更新服务配置：将需要GPU支持的服务切换为使用EC2容量提供者，确保现有负载均衡器规则正确关联该服务。

3. 相关AWS及Terraform参考文档要点 #

AWS官方文档 #

• ECS混合集群配置：学习容量提供者的概念、EC2实例注册到集群的流程。
• ECS GPU任务配置：明确任务定义中GPU资源的声明规范、支持的实例类型及AMI要求。
• EC2自动扩缩容组与ECS集成：掌握容量提供者驱动的自动扩缩容逻辑。

Terraform AWS Provider文档 #

• aws_ecs_cluster：配置集群的容量提供者关联规则。
• aws_ecs_capacity_provider：定义EC2容量提供者并关联自动扩缩容组。
• aws_ecs_task_definition：编写包含GPU资源声明的任务定义。
• aws_autoscaling_group：创建GPU实例的自动扩缩容组，指定ECS优化AMI。

示例Terraform代码片段 #

# 定义GPU型ECS容量提供者
resource "aws_ecs_capacity_provider" "gpu_capacity" {
  name = "gpu-capacity-provider"

  auto_scaling_group_provider {
    auto_scaling_group_arn = aws_autoscaling_group.gpu_asg.arn

    managed_scaling {
      status         = "ENABLED"
      target_capacity = 100
    }

    managed_termination_protection = "ENABLED"
  }
}

# 更新现有ECS集群，添加GPU容量提供者
resource "aws_ecs_cluster" "existing_cluster" {
  name = "your-existing-cluster-name"

  capacity_providers = ["FARGATE", "FARGATE_SPOT", aws_ecs_capacity_provider.gpu_capacity.name]
  default_capacity_provider_strategy {
    capacity_provider = "FARGATE"
    weight            = 1
  }
}

# GPU任务定义示例
resource "aws_ecs_task_definition" "gpu_task" {
  family                   = "gpu-task"
  network_mode             = "awsvpc"
  requires_compatibilities = ["EC2"]
  cpu                      = "4096"
  memory                   = "16384"
  execution_role_arn       = aws_iam_role.ecs_execution_role.arn
  task_role_arn            = aws_iam_role.ecs_task_role.arn

  container_definitions = jsonencode([
    {
      name      = "gpu-container"
      image     = "your-gpu-enabled-image"
      resources = {
        resourceRequirements = [
          {
            type  = "GPU"
            value = "1"
          }
        ]
      }
      portMappings = [
        {
          containerPort = 80
          hostPort      = 80
        }
      ]
    }
  ])
}

内容的提问来源于stack exchange，提问作者Jordan Myers