如何在AWS ECS启动新迁移任务前自动检查运行中任务并等待其完成

核心目标是保证任意时刻集群内最多只有1个迁移任务处于运行态，新触发的任务自动排队等待前序任务执行完成后再启动，以下是三种可落地的实现方案，可根据自身触发场景选择：

方案1：ECS API轮询方案（无额外依赖，适合单触发源场景） #

实现逻辑最轻量化，不需要引入额外服务，核心流程如下：

• 新任务触发后，首先调用ECS ListTasks接口，指定对应迁移任务的任务定义族，过滤desiredStatus=RUNNING的任务列表
• 如果返回的运行中任务列表非空，按固定间隔（建议30s以上，避免触发API限流）重复调用接口查询状态，直到列表为空
• 确认无运行中迁移任务后，再调用RunTask接口启动新任务
• 增加异常兜底：轮询时同步调用DescribeTasks检查任务状态，如果发现运行中任务已经停止且退出码非0，直接抛出异常终止流程，避免故障任务卡死整个队列

核心逻辑参考代码：

import boto3
import time

ecs = boto3.client("ecs", region_name="cn-north-1")
CLUSTER = "your-ecs-cluster-name"
TASK_FAMILY = "your-migration-task-family"
POLL_GAP = 30

def wait_running_task_done():
    while True:
        running_tasks = ecs.list_tasks(
            cluster=CLUSTER,
            family=TASK_FAMILY,
            desiredStatus="RUNNING"
        )["taskArns"]
        if not running_tasks:
            return
        # 检查任务是否异常终止
        task_detail = ecs.describe_tasks(cluster=CLUSTER, tasks=running_tasks)["tasks"]
        for t in task_detail:
            if t["lastStatus"] == "STOPPED":
                exit_code = t["containers"][0].get("exitCode", -1)
                if exit_code != 0:
                    raise RuntimeError(f"迁移任务{t['taskArn']}异常退出，退出码{exit_code}，已阻塞队列")
        time.sleep(POLL_GAP)

if __name__ == "__main__":
    wait_running_task_done()
    # 启动新迁移任务
    ecs.run_task(
        cluster=CLUSTER,
        taskDefinition=TASK_FAMILY,
        # 按需补充启动参数，比如子网、安全组、任务角色等
    )

方案2：分布式锁方案（强一致，适合多触发源场景） #

如果迁移任务存在多个触发入口（比如CI/CD流水线、手动触发、定时事件触发同时存在），轮询方案可能出现竞态（多个触发源同时检测到无运行任务，重复启动），此时用分布式锁更稳妥：

• 选用DynamoDB作为锁存储（和AWS生态适配无需额外运维），创建一张锁表，主键设为固定字符串比如migration_lock，给锁项配置自动过期时间，过期时间比你预估的最长迁移耗时多30%余量，避免任务异常退出导致死锁
• 新任务启动前先尝试写入锁项：写入成功代表拿到锁，正常启动任务，任务执行完成后主动删除锁项；写入失败代表已有任务在运行，固定间隔轮询检查锁项是否被删除
• 锁逻辑增加幂等校验：拿到锁的任务需要定期给锁续期，避免长时迁移任务执行中锁过期被其他任务抢占

方案3：ECS Service托管调度方案（运维成本最低，适合可终止前序任务的场景） #

如果不需要强制等前序任务自然跑完，允许新任务启动时替换旧任务，可以直接用ECS原生Service能力实现，完全不需要自己写调度逻辑：

• 将迁移任务配置为ECS Service，设置desiredCount=1，部署配置中minimumHealthyPercent=0、maximumPercent=100
• 每次要启动新迁移任务时，直接调用UpdateService接口指定新的任务定义版本即可
• ECS会自动保证调度过程中最多只有1个任务实例运行，先终止旧任务，等旧任务完全停止后再启动新任务

注意：该方案会主动终止正在运行的迁移任务，如果你要求必须等前序迁移任务执行完成才能启动新任务，不要使用该方案。

通用注意事项 #

• 所有迁移任务必须配置最长运行超时时间，避免单个任务死循环或卡死导致整个任务队列阻塞
• 轮询间隔不要设置过短，建议不低于15s，避免触发ECS API的请求限流
• 建议给任务异常退出、队列等待超时等场景配置告警，方便及时排查故障

内容的提问来源于stack exchange，提问作者Shashank Jha