如何启动多台EC2实例并行运行不同参数程序并自动关机

一、用Terraform批量创建配置一致的EC2实例 #

通过Terraform的count语法可以快速生成配置完全统一的实例，所有实例共享相同的AMI、实例类型、安全组等配置，仅通过索引区分参数和名称。

示例Terraform代码（main.tf）：

# 核心配置变量
variable "instance_count" {
  type    = number
  default = 10
}

variable "instance_type" {
  type    = string
  default = "c5.24xlarge" # 96核实例，可按需替换
}

variable "ami_id" {
  type    = string
  default = "ami-xxxxxxxxxxxxxxxxx" # 替换为你使用的目标AMI ID
}

variable "github_repo" {
  type    = string
  default = "your-target-github-repo"
}

# 每个实例对应的程序参数列表
variable "program_params" {
  type    = list(string)
  default = ["param0", "param1", "param2", "param3", "param4", "param5", "param6", "param7", "param8", "param9"]
}

# 批量创建EC2实例
resource "aws_instance" "worker_nodes" {
  count         = var.instance_count
  ami           = var.ami_id
  instance_type = var.instance_type
  key_name      = "your-key-pair" # 替换为你的密钥对名称

  # 统一实例命名规则
  tags = {
    Name = "worker-${count.index}"
  }

  # 实例初始化脚本：运行程序+上传结果+自动关机
  user_data = <<-EOF
              #!/bin/bash
              # 安装依赖（根据你的程序需求调整，比如git、Python等）
              yum update -y
              yum install -y git python3

              # 拉取代码仓库
              git clone ${var.github_repo} /opt/app
              cd /opt/app

              # 运行带指定参数的程序（替换为你的程序启动命令）
              python3 your-program.py ${var.program_params[count.index]}

              # 提交结果到GitHub（需提前配置实例的GitHub访问权限，比如SSH密钥）
              git add ./results
              git commit -m "Worker ${count.index} result (param: ${var.program_params[count.index]})"
              git push origin main

              # 任务完成后自动关机
              shutdown -h now
              EOF
}

二、确保实例配置一致的核心要点 #

• 所有实例复用同一组ami、instance_type、key_name参数，避免重复配置
• 通过count批量生成实例，无需手动复制多份资源代码
• 变量集中管理配置，修改时只需调整变量值即可全局生效

三、不同实例的参数传递逻辑 #

• 提前定义program_params列表，每个元素对应一个实例的运行参数
• 在user_data中通过${var.program_params[count.index]}获取当前实例的专属参数，实现单实例单参数的并行运行

四、关机与批量管理方案 #

1. 自动关机：在user_data末尾添加shutdown -h now，程序运行完成后实例自动关闭
2. 批量关闭/销毁：
   • Terraform方式：执行terraform destroy一键销毁所有实例
   • AWS控制台/CLI方式：通过实例标签Name=worker-*筛选所有实例，批量执行停止或终止操作

注意事项 #

• 需确保实例具备GitHub访问权限：可在AMI中预先植入SSH密钥，或通过AWS Secrets Manager注入个人访问令牌（避免硬编码敏感信息）
• 测试阶段建议先创建1-2台实例验证流程，确认无误后再批量创建10台

内容的提问来源于stack exchange，提问作者fagd