Docker部署Airflow重启后Postgres数据库丢失数据求助

看起来你遇到的核心问题要么是Postgres容器没做数据持久化，要么是Airflow实际没连上外部Postgres——毕竟默认Docker容器的存储是临时的，重启就清空；要是Airflow连接配置出错，还会自动 fallback 到SQLite，数据肯定留不住。给你几个排查和解决的具体步骤：

1. 给Postgres容器配置数据持久化 #

不管你用docker run还是docker-compose部署Postgres，必须给它挂载数据卷来保存数据库文件。Postgres默认把数据存在容器内的/var/lib/postgresql/data目录，只要把这个目录映射到宿主机本地目录或者Docker命名卷，重启容器数据就不会丢。

用docker run的示例： #

docker run -d \
  --name airflow-postgres \
  -e POSTGRES_USER=airflow \
  -e POSTGRES_PASSWORD=airflow \
  -e POSTGRES_DB=airflow \
  -v ./postgres-data:/var/lib/postgresql/data  # 映射到宿主机本地目录，也可以用命名卷如postgres-db-volume:/...
  postgres:13

用docker-compose的示例： #

在你的docker-compose.yml里给postgres服务加上volumes配置：

services:
  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data  # 命名卷比宿主机目录更适配Docker环境
    restart: always

注意：如果之前启动Postgres时没挂载卷，那旧数据已经丢失了，挂载后需要重新初始化Airflow数据库。

2. 确认Airflow真的在使用外部Postgres，而非默认SQLite #

你已经设置了SQL_ALCHEMY_CONN，但Airflow 2.x之后更推荐用带前缀的环境变量格式AIRFLOW__CORE__SQL_ALCHEMY_CONN（旧格式虽然兼容，但用新格式更保险）。

验证连接配置： #

进入Airflow的webserver或scheduler容器，执行以下命令确认环境变量：

echo $AIRFLOW__CORE__SQL_ALCHEMY_CONN

输出应该是类似postgresql+psycopg2://airflow:airflow@postgres/airflow的字符串（如果Postgres是docker-compose里的服务，主机名就是服务名postgres）。

再测试连接是否通畅：

apt-get update && apt-get install -y postgresql-client
psql $AIRFLOW__CORE__SQL_ALCHEMY_CONN -c "SELECT version();"

如果连接失败，说明你的连接字符串有误（比如用户名密码不对、主机名写错），Airflow会自动切回SQLite，这时候重启容器数据必然丢失。

3. 重新初始化Airflow元数据库（如果之前用的是SQLite） #

要是你之前用的是Airflow默认的SQLite，现在切换到Postgres，得重新初始化元数据库：

# 进入Airflow容器
docker exec -it <airflow-webserver-container-name> bash

# 初始化数据库表结构
airflow db init

# 创建管理员用户（按需执行）
airflow users create \
  --username admin \
  --firstname John \
  --lastname Doe \
  --role Admin \
  --email admin@example.com

这一步会在Postgres里创建Airflow需要的表，之后所有元数据都会存在Postgres里，只要Postgres的数据卷配置正确，重启容器数据就会保留。

4. 检查CeleryExecutor的结果后端配置（如果用Celery） #

要是你用的是CeleryExecutor，还得确保CELERY_RESULT_BACKEND也指向Postgres，不然任务执行结果可能还是存在临时存储里：

# 在docker-compose的airflow服务环境变量里添加
AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow

按照这些步骤排查调整，应该就能解决数据丢失的问题了。

内容的提问来源于stack exchange，提问作者Itzblend