K8s中Airflow通过Helm配置S3/Minio远程日志及连接问题

针对你遇到的日志无法写入Minio、连接不显示的问题，核心是让Airflow日志模块正确识别Minio连接，以下是官方Helm Chart的标准配置步骤：

1. 配置Airflow核心日志参数 #

在你的Helm覆盖values.yaml中，开启远程日志并指定Minio专属配置：

airflow:
  config:
    AIRFLOW__LOGGING__REMOTE_LOGGING: "True"
    AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER: "s3://airflow-logs"
    AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID: "s3_minio_conn" # 此ID需和后续连接配置保持一致
    AIRFLOW__LOGGING__ENCRYPT_S3_LOGS: "False" # Minio默认无需加密，按需调整
    # Minio是S3兼容存储，必须指定端点地址
    AIRFLOW__AWS__S3_ENDPOINT_URL: "http://minio-service:9000" # 替换为你的Minio内部服务地址
    AIRFLOW__AWS__SIGNATURE_VERSION: "s3v4"

2. 用Secret注入Minio凭证 #

生产环境禁止明文配置敏感信息，用K8s Secret存储Minio密钥：

先创建Secret #

kubectl create secret generic minio-airflow-secrets \
  --from-literal=access_key=你的Minio访问密钥 \
  --from-literal=secret_key=你的Minio秘密密钥

在Helm values中引用Secret #

airflow:
  extraEnvSecrets:
    - secretName: minio-airflow-secrets
      envName: AWS_ACCESS_KEY_ID
      secretKey: access_key
    - secretName: minio-airflow-secrets
      envName: AWS_SECRET_ACCESS_KEY
      secretKey: secret_key

3. 自动创建Airflow连接 #

官方Chart支持自动生成Airflow连接，在values中添加：

airflow:
  connections:
    - id: s3_minio_conn # 必须和日志配置中的REMOTE_LOG_CONN_ID一致
      type: s3
      extra: |
        {
          "endpoint_url": "http://minio-service:9000",
          "aws_access_key_id": "$AWS_ACCESS_KEY_ID",
          "aws_secret_access_key": "$AWS_SECRET_ACCESS_KEY"
        }

这里直接引用之前注入的环境变量，避免重复配置凭证。

4. 验证配置 #

部署后，检查Pod环境变量确认凭证已注入：

kubectl exec -it <airflow-web-pod-name> -- env | grep AWS_

同时在Web UI的「Admin -> Connections」中查看s3_minio_conn是否存在。运行测试任务后，去Minio的airflow-logs桶检查日志文件是否生成。

有两种可靠方式批量添加连接，无需手动在Web UI操作：

1. 通过Helm Values自动创建连接（推荐） #

直接在values.yaml的airflow.connections列表中新增连接，敏感信息引用Secret：
比如新增MySQL连接：

airflow:
  # 先注入MySQL密码的Secret
  extraEnvSecrets:
    - secretName: mysql-secrets
      envName: MYSQL_PASSWORD
      secretKey: password
  # 新增连接配置
  connections:
    - id: mysql_conn
      type: mysql
      host: mysql-service
      login: airflow_user
      password: "$MYSQL_PASSWORD" # 引用环境变量
      port: 3306

2. 通过环境变量批量导入连接 #

Airflow支持以AIRFLOW_CONN_<连接ID大写>为环境变量名定义连接，格式为：

AIRFLOW_CONN_<CONN_ID>=<连接类型>://<用户名>:<密码>@<地址>:<端口>/<数据库>?<额外参数>

步骤： #

1. 创建包含连接信息的Secret：

kubectl create secret generic airflow-extra-conns \
  --from-literal=AIRFLOW_CONN_POSTGRES_CONN="postgres://db_user:db_pass@postgres-service:5432/airflow_db" \
  --from-literal=AIRFLOW_CONN_REDIS_CONN="redis://:@redis-service:6379/0"

2. 在Helm values中引用这个Secret：

airflow:
  extraEnvSecrets:
    - secretName: airflow-extra-conns
      envName: AIRFLOW_CONN_POSTGRES_CONN
      secretKey: AIRFLOW_CONN_POSTGRES_CONN
    - secretName: airflow-extra-conns
      envName: AIRFLOW_CONN_REDIS_CONN
      secretKey: AIRFLOW_CONN_REDIS_CONN

部署后，Airflow会自动识别这些环境变量，对应的连接会直接出现在Web UI中。

注意点 #

• 环境变量名必须大写，前缀为AIRFLOW_CONN_，比如连接ID是s3_minio_conn，环境变量名就是AIRFLOW_CONN_S3_MINIO_CONN
• 额外参数可以通过URL查询参数传递，比如Minio连接的环境变量写法：AIRFLOW_CONN_S3_MINIO_CONN=s3://?endpoint_url=http://minio-service:9000&aws_access_key_id=xxx&aws_secret_access_key=yyy

内容的提问来源于stack exchange，提问作者FayadC