Google Cloud Composer队列任务堆积但Worker不扩容问题排查

环境信息 #

• 基于Google Cloud Composer实现任务调度与编排
• 当前运行20个活跃DAG，后续将扩展至40-50个
• 每个DAG包含4个串行执行的任务，调度频率为每小时1次
• 所有任务均为dbt run命令，用于执行指定模型集
• 单任务耗时1-5分钟，资源消耗低；单个DAG总执行时长不超过10-15分钟

核心问题 #

Celery任务队列积压数百个任务，但Worker无法自动扩容；已配置最小Worker数为1，但活跃Worker数始终为0。此前任务可正常执行，且确认当前资源配额充足，无需额外申请。

已完成排查动作 #

1. 参考Stack Overflow方案，尝试降低worker_concurrency（当前配置已处于较低水平）、调高max_active_tasks_per_dag（但因DAG任务需串行执行，该调整无效果）
2. 根据官方文档，Worker扩容逻辑基于Scale Factor Target指标，但该指标持续上升时，Worker仍未触发扩容

相关配置参考 #

• 资源配置截图
• Airflow自定义配置截图
• 任务与Worker状态截图
• Scale Factor Target指标截图

下一步排查建议 #

1. 检查Celery Broker健康状态
   • 确认Composer使用的Redis/RabbitMQ服务是否正常运行，排查是否存在连接中断、认证失败或队列阻塞情况。可通过Composer控制台的监控面板查看Broker的关键指标（如队列长度、连接数）。
2. 验证Worker实例组状态
   • 查看GCE实例组中Worker节点的运行状态，是否存在实例启动失败、被标记为不健康或处于维护状态的情况。检查实例启动日志，确认是否有脚本错误、权限不足导致Worker进程无法正常启动。
3. 核对自动扩缩容规则配置
   • 检查Composer的Worker自动扩缩容规则，确认Scale Factor Target的阈值设置是否合理，是否存在配置错误导致扩容逻辑未触发。同时验证最小Worker数的配置是否已正确同步到实例组。
4. 检查版本兼容性
   • 确认当前Airflow版本与Celery版本是否兼容，部分版本组合存在已知的扩缩容bug。可参考Google Cloud Composer官方文档的版本兼容性矩阵进行核对。
5. 分析Worker进程日志
   • 通过Cloud Logging筛选Worker相关日志，搜索celery worker启动失败、Broker连接超时、任务接收异常等报错信息，定位具体故障点。

内容的提问来源于stack exchange，提问作者Ashyam