Airflow KubernetesExecutor 无法启动 KubernetesPodOperator 任务问题求助

前置信息匹配 #

问题匹配环境：Airflow 2.2.1 + apache-airflow-providers-cncf-kubernetes==2.1.0，minikube集群 #

排查步骤 #

• 优先验证RBAC权限配置：这是该版本Provider的最高发问题，2.1.0版本的Kubernetes Provider存在权限不足时无错误日志直接静默失败的已知bug。执行以下命令校验Airflow使用的ServiceAccount权限：

  kubectl auth can-i create pods --as=system:serviceaccount:<替换为Airflow所在命名空间>:<替换为Airflow使用的ServiceAccount名> -n localkubeflow
  

  若返回no，需要给对应ServiceAccount绑定edit角色或者包含pod创建/删除/查看权限的自定义角色。
• 校验in_cluster参数合理性：仅当Airflow本身部署在目标Kubernetes集群内时才可设置in_cluster=True，如果是本地运行的Airflow连接外部minikube，需要将该参数改为False，并额外配置kube_config_path参数指向本地kubeconfig文件路径。
• 检查代码参数逻辑问题：
  • 代码中强制将三个POD_TEMPLATE_FILE相关环境变量设为""，与pod_template_file=None的参数存在冲突风险，可以先删除这三个环境变量配置测试，空字符串不等同于未配置该参数。
  • cmds与arguments的配置存在格式错误风险，bash -cx的参数需要保证是单条可执行字符串，可先替换为cmds=["echo"], arguments=["10"]简化测试，排除参数解析错误问题。
• 拉取全量执行日志排查：你当前贴出的仅为任务排队阶段的初始日志，需要拉取完整的Executor Pod日志查看执行细节：

  kubectl logs -n <替换为Airflow所在命名空间> <替换为执行任务的Executor Pod名称> --all-containers
  

  同时可将Airflow核心日志级别调整为DEBUG，即可打印Kubernetes API调用的全量请求与返回信息，定位具体失败点。
• 校验镜像可用性：你使用的自定义镜像meltano-flieber需要确保已经导入到minikube的容器运行时中，本地构建未导入minikube的镜像会拉取失败，该问题在2.1.0版本Provider中也可能无错误回显。可执行minikube image list查看镜像是否存在。

内容的提问来源于stack exchange，提问作者Luiz Fernando Lobo