Airflow拒绝使用PostgreSQL执行数据库操作问题排查

你遇到的问题核心是Airflow实际生效的配置与你查看的配置不匹配，导致db migrate命令仍使用SQLite，以下是具体排查和解决步骤：

1. 检查环境变量是否覆盖配置 #

Airflow会优先读取环境变量AIRFLOW__DATABASE__SQL_ALCHEMY_CONN，如果该变量存在且值为SQLite连接串，会直接覆盖配置文件的设置。执行命令验证：

echo $AIRFLOW__DATABASE__SQL_ALCHEMY_CONN

如果输出为SQLite相关路径，说明环境变量在起作用，执行以下命令清除：

unset AIRFLOW__DATABASE__SQL_ALCHEMY_CONN

若需永久设置PostgreSQL连接串，可将变量写入shell配置文件（如~/.bashrc或~/.zshrc）：

echo 'export AIRFLOW__DATABASE__SQL_ALCHEMY_CONN="postgresql+psycopg2://airflow_user:airflow_pass@localhost/airflow_db"' >> ~/.bashrc
source ~/.bashrc

2. 确认Airflow实际加载的配置文件 #

你修改的airflow.cfg可能不是Airflow正在使用的文件，执行以下命令查看当前配置文件路径：

airflow info | grep "Config file"

对比该路径与你修改的文件是否一致，若不一致，去对应路径修改配置，或执行命令时指定配置文件：

airflow db migrate --config /path/to/correct/airflow.cfg

3. 完成PostgreSQL端前置配置 #

Airflow无法自动创建PostgreSQL数据库和用户，需提前在PostgreSQL中执行以下操作：

1. 登录PostgreSQL：

psql -U postgres

2. 创建数据库、用户并授权：

CREATE DATABASE airflow_db;
CREATE USER airflow_user WITH PASSWORD 'airflow_pass';
GRANT ALL PRIVILEGES ON DATABASE airflow_db TO airflow_user;
\q

4. 验证PostgreSQL驱动是否安装 #

Airflow连接PostgreSQL需要psycopg2驱动，执行命令检查安装状态：

pip list | grep psycopg2

若无输出，安装驱动：

pip install psycopg2-binary

5. 重新执行迁移命令 #

完成以上步骤后，再次执行：

airflow db migrate

若日志中出现Context impl PostgresqlImpl的提示，说明已成功使用PostgreSQL执行迁移。

内容的提问来源于stack exchange，提问作者kristina