Airflow Kubernetes Executor执行完成的Pod进入NotReady状态未被删除
问题根因与解决方案
1. 优先核对Helm Chart原生配置项
你使用的8.1.3版本airflow helm chart独立维护了Kubernetes Executor的清理开关,优先级高于airflow.config下配置的环境变量,需要在values中显式开启:
kubernetesExecutor: deleteWorkerPods: true deleteWorkerPodsOnFailure: true
注意:仅在airflow.config中配置AIRFLOW__KUBERNETES__*开头的环境变量不生效,是因为chart会用自身的values值覆盖对应配置
2. 检查调度器ServiceAccount权限
Airflow调度器需要对应命名空间下的Pod删除权限,你可以通过如下命令校验当前绑定的ClusterRole/Role是否包含pods.delete权限:
kubectl describe role <your-airflow-scheduler-role> -n <your-namespace>
如果缺失权限,需要在Role的rules中新增如下配置:
- apiGroups: [""] resources: ["pods"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
3. 版本兼容补丁
Airflow v2.0.1存在Kubernetes Executor任务状态同步的已知缺陷,会导致Pod删除逻辑未触发,你可以通过如下两种方式修复:
- 临时规避:在
airflow.config中新增配置AIRFLOW__KUBERNETES__WORKER_PODS_TTL_SECONDS_AFTER_FINISHED: "300",让Kubernetes本身在Pod跑完5分钟后自动清理 - 永久修复:升级Airflow小版本到v2.0.3+,对应可以用8.5.x以上版本的airflow helm chart安装
4. Helm Hook Pod清理规则配置
upgrade-db属于Helm安装/升级时的钩子Pod,默认不会自动清理,需要在values中配置钩子的删除策略:
upgradeDb: hookAnnotations: "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded,hook-failed
配置后每次执行helm操作前会自动清理旧的upgrade-db Pod,钩子执行完成后也会立即自动删除。
内容的提问来源于stack exchange,提问作者Kyle N
相关产品推荐
相关产品推荐

