使用Docker Compose的Concourse Worker重启/升级后异常的解决方法咨询

我之前维护Concourse集群时也碰到过一模一样的问题——用Docker Compose重启或升级栈后，Worker经常陷入异常状态，要么任务报file not found，要么卡在preparing build动不了。折腾了好一阵子，总结出几个实用的修复和规避办法：

如果已经遇到问题，先快速恢复服务：

• 用fly工具清理异常Worker

  1. 确保已配置好Concourse的fly target：fly -t your-concourse-target login（替换成你的target名称）
  2. 列出所有Worker的状态：fly -t your-concourse-target workers，找到标记为stalled、unknown的异常Worker
  3. 删除这些异常Worker：fly -t your-concourse-target prune-worker -w <worker-name>（替换成实际的Worker名称）
     执行完后，Concourse会自动把pending的任务调度到健康的Worker上，卡住的任务通常会恢复。

• 彻底重置Worker数据
  如果手动清理没用，就彻底清理残留的Worker状态数据：

  1. 停止并删除整个栈（包括关联的卷）：docker-compose down -v
  2. 重新启动栈：docker-compose up -d
     这个操作会让Worker以完全干净的状态启动，能解决大部分因残留数据导致的损坏问题。

要从根源上避免这个问题，可以做这几个配置优化：

• 给Worker添加健康检查
  在docker-compose.yml的worker服务里加入健康检查，让Docker和Concourse能自动识别并剔除异常Worker：

  services:
    concourse-worker:
      image: concourse/concourse:latest
      command: worker
      ...
      healthcheck:
        test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
        interval: 30s
        timeout: 10s
        retries: 3
        start_period: 60s
  

• 启用Worker自动清理
  在Worker的启动命令里加上--auto-prune参数，这样当Worker和Web节点断开连接后，会自动被清理，不需要手动操作：

  services:
    concourse-worker:
      ...
      command: worker --auto-prune
  

• 改用外部存储替代本地卷
  默认Worker会把任务的临时数据存在本地Docker卷里，重启后如果卷没有被正确清理，很容易导致状态混乱。可以配置Worker使用S3、NFS这类外部存储，确保Worker重启后能读取到一致的状态数据，避免损坏。

• 升级到稳定版Concourse
  某些旧版本的Concourse在Docker Compose环境下存在Worker状态管理的bug，升级到v7.x及以上的稳定版本，能有效减少这类异常情况的发生。

• 在升级Docker Compose栈之前，尽量先暂停所有运行中的任务，避免任务中途中断导致Worker状态异常；
• 定期用fly workers命令巡检Worker状态，及时发现并处理潜在的异常节点。

内容的提问来源于stack exchange，提问作者daniele vottero