GKE上Airflow社区Chart日志持久化配置求助

关键配置检查点 #

既然你已经有可用的NFS PV/PVC，重点要核对Airflow Chart和日志相关的配置是否匹配：

1. Airflow Chart 日志卷挂载配置 #

先看values.yaml里的日志部分：

• 必须开启logs.persistence.enabled: true，同时用logs.persistence.existingClaim指定你的NFS PVC名称，别让Chart自动创建PVC（自动生成的大概率是RWO模式，不符合要求）。
• 确认logs.persistence.accessMode设为ReadWriteMany，要和你的PVC的accessMode完全一致。
• 重点检查KubernetesExecutor的动态Pod配置，因为这些临时Worker也得挂载NFS卷：

  kubernetesExecutor:
    volumes:
      - name: airflow-logs
        persistentVolumeClaim:
          claimName: 你的NFS PVC名称
    volumeMounts:
      - name: airflow-logs
        mountPath: /opt/airflow/logs
        # 如果需要子路径可以加subPath，否则去掉
        # subPath: logs
  

2. Airflow 核心配置（airflow.cfg）验证 #

确保日志路径和挂载路径对齐，且没开远程日志：

• base_log_folder = /opt/airflow/logs（必须和容器内挂载路径一致）
• remote_logging = False（要是没用到GCS这类远程日志服务，一定要关，不然会跳过本地日志）
• 保留默认的log_filename_template，别乱改路径格式，确保日志能写到NFS目录里。

3. NFS 权限排查 #

测试Pod能用不代表Airflow Pod能用，因为Airflow镜像默认用的是airflow用户（UID 50000）：

• 登录NFS服务器，给日志目录改权限：

  chown -R 50000:50000 /你的NFS日志目录路径
  chmod -R 775 /你的NFS日志目录路径
  

• 检查/etc/exports的导出配置，确保没限制GKE集群的读写：

  /你的NFS日志目录路径  GKE集群CIDR(rw,sync,no_subtree_check,no_root_squash)
  

  要是用了no_root_squash，容器里的root用户能映射到NFS的root，权限问题会少很多；如果坚持用airflow用户，上面的权限修改必须做。

4. 动态Worker Pod 日志路径一致性 #

KubernetesExecutor创建的临时Worker，必须和主组件用同一个日志路径和NFS卷：

• 用kubectl describe pod <临时Worker Pod名>看Pod的volumeMounts，确认mountPath是/opt/airflow/logs，且卷指向你的NFS PVC。
• 进入临时Worker Pod，执行touch /opt/airflow/logs/test.log，然后去NFS服务器看有没有这个文件，验证写入权限。

5. Webserver 日志访问配置 #

Webserver要能读NFS里的日志：

• 确认Webserver Pod已经挂载了NFS卷，路径正确。
• 检查airflow.cfg里的log_viewer，默认是本地文件查看，别改成其他远程服务，不然Webserver会找不到本地日志。

分步排查流程 #

1. 先测主组件的日志写入：手动跑个简单DAG，比如用BashOperator执行echo "test log" >> /opt/airflow/logs/test.log，然后去NFS服务器看有没有这个文件。
2. 看临时Worker的日志：用kubectl logs <临时Worker Pod名>，找有没有“Permission denied”或者“无法写入日志目录”这类错误。
3. 核对PV/PVC状态：kubectl get pv,pvc，确保PVC是Bound状态，PV的accessMode包含ReadWriteMany。
4. 测试NFS连接：在Airflow Pod里执行showmount -e <NFS服务器IP>，确认能看到导出目录；再执行mount -t nfs <NFS服务器IP>:/你的NFS日志目录路径 /tmp/test-mount，测试挂载是否正常。

内容的提问来源于stack exchange，提问作者Maina Ari