AWS EKS上Airflow Worker缩容时任务遇SIGTERM失败的解决方案咨询

问题分析 #

你当前的配置（gracefullTerminationPeriod:180 + terminationPeriod:120）理论上5分钟内完成Pod终止，但实际耗时8分钟，原因大概率是：

1. Kubernetes层面的terminationGracePeriodSeconds默认值与Airflow的配置叠加，导致实际等待时长被延长；
2. Celery Worker在处理SIGTERM时，任务本身的执行逻辑（比如DatabricksOperator的异步轮询）未被正确处理，导致Worker退出后任务状态更新中断，最终UI标记失败。

你的核心需求是让Worker Pod仅在当前所有任务执行完成后再终止，同时避免设置过大的固定超时值，针对这个需求，可按以下方案配置：

解决方案 #

1. 调整Airflow Celery终止配置，取消固定超时限制 #

将gracefullTerminationPeriod设为一个足够大的值（比如24小时），确保Worker会一直等待任务完成，而非超时强制终止：

celery:
  gracefullTermination: true
  # 设置为24小时，确保覆盖所有长时任务时长
  gracefullTerminationPeriod: 86400
  terminationPeriod: 120

2. 添加K8s Pod生命周期钩子，确保Worker优雅退出 #

通过preStop钩子让Worker主动停止接受新任务，并轮询等待所有活跃任务完成后再退出，避免K8s强制杀死Pod：

workers:
  pod:
    lifecycle:
      preStop:
        exec:
          command:
            - "/bin/bash"
            - "-c"
            - |
              # 停止Celery Worker接收新任务
              airflow celery stop --wait
              # 轮询检查活跃任务数，直到为0
              while true; do
                # 用grep替代jq（若容器无jq），获取活跃任务数
                ACTIVE_TASKS=$(airflow celery inspect active 2>/dev/null | grep -oP 'length\(\K\d+' || echo 0)
                if [ "$ACTIVE_TASKS" -eq 0 ]; then
                  break
                fi
                sleep 30
              done

3. 配置K8s Pod终止宽限期 #

设置terminationGracePeriodSeconds为大于gracefullTerminationPeriod + terminationPeriod的值，确保K8s不会在Worker完成任务前强制杀死Pod：

workers:
  terminationGracePeriodSeconds: 86520 # 24小时+2分钟，留足缓冲

4. 处理DatabricksOperator的特殊情况 #

DatabricksOperator本质是异步提交任务到Databricks，本地仅轮询状态，若Worker终止会导致轮询中断，UI标记任务失败（但Databricks任务仍在运行）。解决方法：

• 改用DatabricksSubmitRunOperator提交任务，搭配DatabricksRunNowSensor监控任务状态，Sensor可运行在其他Worker上，原Worker可安全终止；
• 开启任务的状态持久化，确保Worker重启后能重新同步Databricks任务状态。

5. 配置PodDisruptionBudget（必加） #

避免缩容时所有Worker被同时终止，导致无可用Worker处理新任务：

workers:
  podDisruptionBudget:
    enabled: true
    minAvailable: 1 # 保留至少1个可用Worker，可根据集群规模调整

完整Helm配置示例 #

celery:
  gracefullTermination: true
  gracefullTerminationPeriod: 86400
  terminationPeriod: 120

workers:
  terminationGracePeriodSeconds: 86520
  podDisruptionBudget:
    enabled: true
    minAvailable: 1
  pod:
    lifecycle:
      preStop:
        exec:
          command:
            - "/bin/bash"
            - "-c"
            - |
              airflow celery stop --wait
              while true; do
                ACTIVE_TASKS=$(airflow celery inspect active 2>/dev/null | grep -oP 'length\(\K\d+' || echo 0)
                if [ "$ACTIVE_TASKS" -eq 0 ]; then
                  break
                fi
                sleep 30
              done

注意事项 #

• 确保Worker容器中安装了grep（默认已包含），若要用jq需在容器镜像中提前安装；
• 长时任务（如几小时的Presto查询）需确保Worker资源足够支撑到任务完成，避免因资源不足被K8s驱逐；
• 监控Celery Worker的活跃任务数，及时调整集群扩缩容规则，避免任务积压。

内容的提问来源于stack exchange，提问作者bha159