如何在AWS ECS实例自动缩容前迁移所有容器任务？

我之前在几个基于ECS+EC2的项目里都处理过自动扩缩容时的任务平滑迁移问题，总结了几个关键配置和步骤，帮你避免实例终止时任务被强制中断：

1. 启用ECS实例的Draining（排水）机制 #

这是核心中的核心。当EC2实例被标记为要终止时，ECS会自动将该实例上的运行中任务调度到集群内其他可用的EC2实例上，直到该实例上的所有任务都被迁移或停止，才允许实例被终止。

要确保这个机制生效，你需要：

• 确保你的ECS集群和Auto Scaling Group（ASG）已经正确关联（创建ECS实例时通过Launch Template/Configuration关联到目标集群）
• 该机制默认启用，但需要配合ASG的生命周期钩子来触发完整的终止流程

2. 配置ASG的生命周期钩子 #

默认情况下，ASG会直接终止实例，不会等待ECS完成任务迁移。所以必须给ASG添加Instance Terminating类型的生命周期钩子，让ASG在终止实例前先通知ECS启动draining流程：

• 进入ASG控制台，找到目标ASG，进入「生命周期钩子」标签页
• 创建新钩子：
  • 钩子名称：比如ecs-instance-termination-draining
  • 生命周期转换：选择Instance terminating
  • 生命周期钩子类型：选择「ECS容器实例排水」
  • 超时时间：根据你的任务最长运行时间设置，比如如果任务最长需要20分钟处理完成，就设为1200秒（20分钟），避免超时后ASG强制终止实例
  • 可选：设置通知目标（比如SNS或Lambda）来监控draining进度

3. 优化任务定义与调度配置 #

如果任务无法被迁移，draining流程会卡住，导致实例无法正常终止。所以要确保：

• 任务无实例绑定：不要在任务定义或服务配置中设置placement constraints绑定到特定EC2实例ID，否则任务无法被调度到其他实例
• 集群有足够资源：ASG的扩缩容阈值要考虑任务的CPU/内存需求，确保集群内始终有空闲资源承接迁移的任务。比如可以通过CloudWatch监控ECS集群的CPUReservation和MemoryReservation指标，调整ASG的扩缩容策略
• 设置任务优雅停止超时：在任务定义中配置stopTimeout参数（默认30秒），如果你的任务需要时间处理完当前请求或数据，把这个值调大，比如300秒（5分钟）。ECS会先向任务发送SIGTERM信号，等待超时时间后再发送SIGKILL强制终止

4. 监控draining流程 #

为了及时发现问题，建议配置以下监控：

• 用CloudWatch监控ECS的ContainerInstanceDraining指标，追踪实例的draining状态
• 监控ASG的生命周期钩子状态，查看是否有钩子超时或失败的情况
• 可以设置CloudWatch告警，当draining超时或任务迁移失败时通知运维人员

额外注意事项 #

• 如果你的任务是一次性任务（EC2 Spot实例上的任务），确保集群内有On-Demand实例作为兜底，避免Spot实例回收时无可用实例承接任务
• 可以调整ASG的终止策略为OldestInstance，优先终止最旧的实例，减少对运行中关键任务的影响

内容的提问来源于stack exchange，提问作者Mihail Gogol