AWS ECS滚动更新未先注销目标组任务就停止，致API故障求助

问题场景 #

我们的AWS ECS服务近期出现滚动更新异常：此前更新任务定义时，标准流程为旧任务从ALB目标组注销 → 排空HTTP连接 → 停止任务，但现在ECS会直接停止旧任务，跳过前两步，导致新请求仍路由至已停止的任务，引发8-12秒的API故障。无论通过CLI还是控制台触发更新，问题均存在。ECS代理日志中未记录21:04:50的任务停止操作，已提供ECS事件序列截图及代理日志。服务部署在应用负载均衡（ALB）之后。

可能的原因分析 #

• ECS服务部署配置异常：deregistrationDelay、minimumHealthyPercent等参数被修改，导致注销/排空流程被跳过或时间不足；healthCheckGracePeriodSeconds设置不合理，ECS过早判定任务不健康并终止。
• ECS代理故障或版本过低：旧版本代理存在滚动更新逻辑bug，或代理进程崩溃、未正常上报状态，导致无法执行注销和排空步骤，甚至未记录停止操作。
• ALB目标组配置不匹配：目标组的Deregistration delay过短，或粘性会话设置导致旧请求持续路由至已停止任务；健康检查配置与ECS衔接不当，出现状态不同步。
• 强制停止逻辑触发：更新时使用了--force-new-deployment参数，或服务配置中强制终止旧任务的逻辑被触发，跳过正常排空流程。
• IAM权限缺失：ECS实例/任务执行角色丢失elasticloadbalancing:DeregisterTargets等权限，导致无法调用ALB API完成注销，进而直接停止任务。

解决思路与验证步骤 #

1. 核对ECS服务部署配置 #

• 查看当前服务部署参数：

  aws ecs describe-services --cluster <集群名称> --services <服务名称> --query 'services[0].deploymentConfiguration'
  

• 确保deregistrationDelay设置为合理值（建议≥300秒），minimumHealthyPercent设为100（保证更新期间健康任务数量不低于原规模），maximumPercent设为200（允许临时扩容）。
• 检查healthCheckGracePeriodSeconds是否大于ALB健康检查间隔×失败阈值的总时间，避免ECS过早终止未完成初始化的任务。

2. 检查ECS代理状态与版本 #

• 在EC2实例上查看代理运行状态：

  sudo systemctl status ecs
  

• 查看代理版本：

  docker inspect amazon/amazon-ecs-agent | grep "Version"
  

• 若版本低于AWS推荐的稳定版本（如1.60.0+），升级ECS代理；若代理异常，重启代理或EC2实例后观察更新流程是否恢复。

3. 验证ALB目标组配置 #

• 查看目标组注销延迟：

  aws elbv2 describe-target-groups --target-group-arns <目标组ARN> --query 'TargetGroups[0].DeregistrationDelaySeconds'
  

• 确保目标组DeregistrationDelaySeconds与ECS服务的deregistrationDelay一致或更长，避免ALB仍在路由请求时任务已停止。
• 关闭不必要的粘性会话，或调整粘性会话超时时间小于注销延迟，防止旧会话持续路由至已停止任务。

4. 排查IAM权限 #

• 确认ECS实例角色包含AmazonEC2ContainerServiceforEC2Role托管权限，或自定义权限中包含：
  • elasticloadbalancing:RegisterTargets
  • elasticloadbalancing:DeregisterTargets
  • elasticloadbalancing:DescribeTargetHealth
• 若使用任务执行角色，确保该角色也具备上述权限（若任务需直接与ALB交互）。

5. 检查强制停止触发条件 #

• 查看任务停止原因：

  aws ecs describe-tasks --cluster <集群名称> --tasks <任务ARN> --query 'tasks[0].stoppedReason'
  

• 确认更新服务时未使用--force-new-deployment参数，该参数会强制终止所有旧任务，跳过正常排空流程。

内容的提问来源于stack exchange，提问作者Jan K