如何配置K8s+Helm部署的Airflow将日志写入Blob存储？

核心结论 #

是的，必须在Docker镜像中完成日志相关配置，再重新部署Airflow——直接在Pod内修改的配置无法持久化，还会触发权限问题，完全没必要在Pod里折腾sudo操作。

具体操作步骤 #

1. 定制Airflow基础镜像 #

Airflow 1.10.6默认镜像不带Blob存储的依赖包，先基于官方镜像安装对应依赖：

FROM apache/airflow:1.10.6
USER root
# 根据你的Blob类型选择依赖：Azure用apache-airflow[azure]，AWS S3用apache-airflow[s3]
RUN pip install apache-airflow[azure]
# 确保airflow用户拥有AIRFLOW_HOME目录权限
RUN chown -R airflow:airflow /usr/local/airflow
USER airflow

2. 通过Helm Values配置日志参数 #

不需要进入Pod修改配置，直接在Helm的values.yaml中定义远程日志相关参数：

airflow:
  config:
    AIRFLOW__CORE__REMOTE_LOGGING: "True"
    # 替换为你的Blob存储路径，比如Azure格式：wasb://容器名@存储账号.blob.core.windows.net/airflow-logs
    AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER: "wasb://your-container@your-storage-account.blob.core.windows.net/airflow-logs"
    # 提前在Airflow UI中创建好的Blob存储连接ID
    AIRFLOW__CORE__REMOTE_LOG_CONN_ID: "azure_blob_log_conn"
    AIRFLOW__CORE__ENCRYPT_S3_LOGS: "False"

3. 配置Pod运行权限 #

针对你遇到的AIRFLOW_HOME目录无写入权限问题，通过Helm配置Pod的安全上下文，确保airflow用户有足够权限：

webserver:
  securityContext:
    runAsUser: 50000
    runAsGroup: 50000
    fsGroup: 50000

4. 重新部署Airflow #

把定制好的镜像推送到你的私有镜像仓库，更新Helm values中的镜像地址，执行部署命令：

helm upgrade airflow apache-airflow/airflow -f your-values.yaml --namespace your-namespace

验证方法 #

运行一个简单的测试DAG，执行完成后检查Blob存储容器内是否生成对应的日志文件，同时在Airflow UI中查看日志是否能正常加载。

内容的提问来源于stack exchange，提问作者Filip Drzewiecki UK