本地Kubernetes部署Airflow DAG报错：kube配置选项互斥问题

核心问题 #

你碰到的错误根源很明确：同时指定了in_cluster=true和config_file="None"，这两个参数是互斥的——当启用in_cluster=true时，Airflow会自动借助Pod内部的Kubernetes服务账户（ServiceAccount）权限访问集群，完全不需要手动指定config_file。

关于in_cluster=true的配置要求 #

设置in_cluster=true时，不需要手动创建Kubernetes连接配置文件，但要确保Airflow的Pod具备足够的集群访问权限，具体操作如下：

1. 修正DAG配置
   直接删除config_file="None"这一行，只保留in_cluster=true即可。规范的Python配置片段应为：

   in_cluster = True
   

2. 验证并配置Airflow Pod的服务账户权限

   • 先查看Airflow worker/scheduler Pod使用的ServiceAccount：

     kubectl get pods -n <你的Airflow命名空间> -o jsonpath='{.items[*].spec.serviceAccountName}'
     

   • 确保该ServiceAccount拥有创建、删除Pod的权限（因为你用到了KubernetesPodOperator）。如果权限不足，创建对应的Role和RoleBinding：
     示例Role定义（airflow-pod-role.yaml）：

     apiVersion: rbac.authorization.k8s.io/v1
     kind: Role
     metadata:
       name: airflow-pod-manager
       namespace: <你的Airflow命名空间>
     rules:
     - apiGroups: [""]
       resources: ["pods"]
       verbs: ["create", "delete", "get", "list", "watch"]
     - apiGroups: [""]
       resources: ["pods/log"]
       verbs: ["get", "list"]
     

     示例RoleBinding定义（airflow-pod-rolebinding.yaml）：

     apiVersion: rbac.authorization.k8s.io/v1
     kind: RoleBinding
     metadata:
       name: airflow-pod-manager-binding
       namespace: <你的Airflow命名空间>
     subjects:
     - kind: ServiceAccount
       name: <上面查到的ServiceAccount名称>
       namespace: <你的Airflow命名空间>
     roleRef:
       kind: Role
       name: airflow-pod-manager
       apiGroup: rbac.authorization.k8s.io
     

     应用配置：

     kubectl apply -f airflow-pod-role.yaml -f airflow-pod-rolebinding.yaml
     

3. 集群内访问机制说明
   当in_cluster=true时，Kubernetes会自动在Airflow Pod内挂载/var/run/secrets/kubernetes.io/serviceaccount/目录，里面包含集群认证所需的证书、token等文件，Airflow会自动读取这些文件完成认证，无需手动干预。

额外检查点 #

• 确认DAG中没有同时设置kube_config_path或kube_config参数，避免和in_cluster=true冲突。
• 重启Airflow scheduler和worker Pod，确保配置修改生效。

内容的提问来源于stack exchange，提问作者Eby