Airflow本地文件系统密钥后端无法加载连接问题

问题描述 #

开发环境使用Docker Compose运行Airflow，希望将连接存储在本地文件中，已完成以下操作：

• 创建本地conn.json文件：

{
  "CONN_A": "mysql://host_a",
  "CONN_B": {
    "conn_type": "scheme",
    "host": "host",
    "schema": "schema",
    "login": "Login",
    "password": "None",
    "port": "1234"
  }
}

• 在docker-compose.yaml中挂载文件：

volumes:
...
    - ${AIRFLOW_PROJ_DIR:-.}/config/conn.json:/opt/airflow/files/conn.json
    - ${AIRFLOW_PROJ_DIR:-.}/config/var.json:/opt/airflow/files/var.json

• 在airflow.cfg的[secrets]段配置：

[secrets]
backend = airflow.secrets.local_filesystem.LocalFilesystemBackend
backend_kwargs = {"variables_file_path": "/files/var.json", "connections_file_path": "/files/conn.json"}

但启动Airflow后，连接未成功加载（界面无显示）。

解决步骤 #

1. 修正文件路径配置 #

airflow.cfg中配置的文件路径与挂载路径不匹配：

• 挂载路径为/opt/airflow/files/conn.json，但backend_kwargs中写的是/files/conn.json，路径错误导致Airflow无法找到文件。
• 修改airflow.cfg的backend_kwargs：

backend_kwargs = {"variables_file_path": "/opt/airflow/files/var.json", "connections_file_path": "/opt/airflow/files/conn.json"}

2. 检查文件权限 #

本地挂载的文件在容器中可能缺少可读权限：

• 给本地conn.json和var.json添加可读权限：

chmod +r ./config/conn.json ./config/var.json

• 或者在docker-compose.yaml中指定以root用户运行（仅开发环境建议）：

services:
  webserver:
    user: "root"
    ...
  scheduler:
    user: "root"
    ...

3. 确保配置生效 #

修改配置后必须重启所有Airflow容器：

docker-compose down && docker-compose up -d

4. 验证配置结果 #

进入Airflow容器查看连接是否加载：

docker-compose exec webserver airflow connections list

若能列出CONN_A和CONN_B，说明配置生效；若仍无结果，查看日志排查错误：

docker-compose logs webserver | grep "secrets"

内容的提问来源于stack exchange，提问作者jtobelem