Kind集群部署Airflow：本地镜像仓库拉取DAG镜像失败求助

一、修复本地镜像仓库的集群内访问问题 #

1. 确认集群内可访问的仓库地址 #

你本地curl正常但Pod拉取失败，核心问题是Pod内的网络环境和主机不同，不能直接用localhost:5001：

• 如果仓库是容器化部署且已加入Kind的kind网络：
  执行docker inspect <你的仓库容器名> | grep IPAddress获取仓库容器IP，镜像地址改为http://<仓库IP>:5001/your-dag-image:tag，也可以直接用仓库容器名作为地址（比如http://my-registry:5001/your-dag-image:tag）。
• 如果仓库跑在主机上：
  执行docker exec <kind-control-plane容器名> ip route | grep default | awk '{print $3}'获取Kind节点的主机网关IP，镜像地址改为http://<网关IP>:5001/your-dag-image:tag，同时要确保主机防火墙开放5001端口，允许Kind集群网段访问。

2. 配置Kubernetes信任非HTTPS私有仓库 #

如果你的仓库是HTTP协议，必须让Kind节点允许拉取这个不安全的仓库：

1. 主机上编辑/etc/docker/daemon.json，添加：

   {
     "insecure-registries": ["<仓库地址>:5001"]
   }
   

2. 创建Kind集群配置文件kind-config.yaml：

   kind: Cluster
   apiVersion: kind.x-k8s.io/v1alpha4
   nodes:
   - role: control-plane
     extraMounts:
     - hostPath: /etc/docker/daemon.json
       containerPath: /etc/docker/daemon.json
   

3. 重启Docker并重建集群：systemctl restart docker && kind delete cluster && kind create cluster --config kind-config.yaml

3. 修正Helm Values配置 #

确保values.yaml中的镜像地址正确，示例：

airflow:
  image:
    repository: <集群内可访问的仓库地址>:5001/your-dag-image
    tag: latest
    pullPolicy: Always

然后重新部署：helm upgrade --install airflow apache-airflow/airflow -f values.yaml

二、无需本地仓库的DAG加载方案 #

如果不想折腾私有仓库，这两种方式更直接：

1. 本地DAG目录直接挂载 #

通过Helm配置将主机本地的DAG目录挂载到Airflow的所有相关Pod：

airflow:
  volumes:
    - name: dags
      hostPath:
        path: /path/to/your/local/dags
        type: Directory
  volumeMounts:
    - name: dags
      mountPath: /opt/airflow/dags

注意：Kind集群需要能访问该主机目录，若挂载失败，可在Kind集群配置中添加extraMounts将主机目录挂载到节点上。

2. 直接导入镜像到Kind集群 #

不用推送到仓库，直接把本地构建的DAG镜像导入Kind集群：

1. 执行：kind load docker-image your-dag-image:latest
2. 修改Helm Values：

   airflow:
     image:
       repository: your-dag-image
       tag: latest
       pullPolicy: Never # 节点已存在镜像，无需拉取
   

3. 重新部署即可。

内容的提问来源于stack exchange，提问作者tomomomo