Docker容器中Apache Airflow用户配置与变更无法持久化问题

核心问题原因 #

你之前的操作都在容器的临时可写层中进行，容器重启或重建后，这一层的修改会被重置，导致用户、虚拟环境等信息丢失。要实现持久化，需通过Docker卷或自定义镜像保存这些变更。

方案一：使用Docker卷（推荐生产/稳定场景） #

Docker卷是官方推荐的持久化方式，由Docker管理存储，稳定性和迁移性更好。需持久化两个关键部分：用户/组信息、Airflow数据（含虚拟环境、配置、包）。

步骤： #

1. 创建两个专用卷：

docker volume create airflow-user-config
docker volume create airflow-app-data

2. 启动容器时挂载卷并指定环境变量：

docker run -it -p 8888:8080 \
  -v airflow-user-config:/etc/passwd \
  -v airflow-user-config:/etc/group \
  -v airflow-app-data:/opt/airflow \
  -e AIRFLOW_HOME=/opt/airflow \
  python:3.8-slim /bin/bash

3. 在容器内重新执行你的配置步骤：创建airflow用户、虚拟环境、安装Airflow。

后续无论容器重启、重建，只要挂载这两个卷，所有配置都会被保留。

方案二：构建自定义镜像（适合固定配置场景） #

如果你的Airflow配置固定，把所有初始化步骤打包成自定义镜像，每次启动容器直接用这个镜像，无需重复配置。

步骤： #

1. 本地创建Dockerfile文件：

FROM python:3.8-slim

# 定义Airflow主目录环境变量
ENV AIRFLOW_HOME=/opt/airflow

# 创建airflow用户并指定家目录
RUN useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow

# 切换到airflow用户，创建虚拟环境并安装Airflow
USER airflow
WORKDIR ${AIRFLOW_HOME}
RUN python -m venv .airflowvirtualenv && \
    . .airflowvirtualenv/bin/activate && \
    pip install apache-airflow

# 暴露Airflow默认端口
EXPOSE 8080

# 默认启动bash终端
CMD ["/bin/bash"]

2. 构建自定义镜像：

docker build -t my-custom-airflow .

3. 启动容器：

docker run -it -p 8888:8080 my-custom-airflow

后续要更新配置，只需修改Dockerfile重新构建镜像即可。

方案三：绑定挂载（适合本地开发场景） #

把本地目录和容器目录绑定，实现双向同步，适合开发时实时修改内容。

步骤： #

1. 本地创建存储目录：

mkdir -p ./airflow-user ./airflow-data

2. 启动容器并挂载本地目录：

docker run -it -p 8888:8080 \
  -v $(pwd)/airflow-user:/etc/passwd \
  -v $(pwd)/airflow-user:/etc/group \
  -v $(pwd)/airflow-data:/opt/airflow \
  -e AIRFLOW_HOME=/opt/airflow \
  python:3.8-slim /bin/bash

注意：绑定挂载依赖本地文件系统，迁移性不如Docker卷，适合本地开发使用。

关键注意事项 #

• 避免使用--rm参数启动容器（除非是临时测试），否则容器退出后会被直接删除，所有修改丢失。
• 不要依赖容器的临时可写层存储重要数据，所有需要持久化的内容必须放在卷或自定义镜像中。
• 如果已有配置好的容器，可以将容器内的关键数据迁移到卷：

# 创建目标卷
docker volume create airflow-app-data
# 用临时容器将现有容器的/opt/airflow复制到卷中
docker run --rm -v airflow-app-data:/target -v <你的容器ID>:/source busybox cp -a /source/opt/airflow/. /target/

内容的提问来源于stack exchange，提问作者Nabaraj Ghimire