执行airflow db init未在手动创建目录生成必要文件的问题

问题概述 #

手动创建Airflow目录后，执行airflow db init命令，日志提示"Initialization done"，但手动创建的目标目录下未发现生成的文件；日志包含db init弃用警告、Kubernetes依赖缺失错误及加密密钥为空警告。

日志关键信息分析 #

从日志中DB: sqlite:////Users/vk/airflow/airflow.db可以看出，Airflow默认将数据库文件生成在默认HOME路径（~/airflow），而非你手动创建的目录——这是因为未指定AIRFLOW_HOME环境变量，Airflow会使用默认路径初始化文件。

解决方案 #

1. 指定Airflow工作目录 #

• 临时生效：执行以下命令（替换为你手动创建的Airflow目录路径），让Airflow使用该目录作为工作目录：

  export AIRFLOW_HOME=/path/to/your/manual/airflow/directory
  

• 永久生效：将上述命令添加到你的shell配置文件（如~/.zshrc或~/.bashrc），重启终端后生效。

2. 替换弃用的db init命令 #

按照日志提示，使用官方推荐的命令完成初始化：

• 迁移数据库：

  airflow db migrate
  

• 创建默认连接：

  airflow connections create-default-connections
  

3. 处理Kubernetes依赖警告（可选） #

如果不需要使用Kubernetes executor，可直接忽略该警告；若需使用，安装对应依赖：

pip install apache-airflow[cncf.kubernetes]

4. 解决加密密钥为空问题 #

生成并配置Fernet密钥，确保敏感数据加密存储：

• 生成密钥：

  airflow secrets create-fernet-key
  

• 配置密钥：
  • 方式1：编辑AIRFLOW_HOME下的airflow.cfg文件，将fernet_key字段值替换为生成的密钥。
  • 方式2：设置环境变量临时生效：

    export AIRFLOW__CORE__FERNET_KEY=生成的密钥内容
    

  • 永久生效：将环境变量添加到shell配置文件中。

内容的提问来源于stack exchange，提问作者Vkara