Airflow DockerOperator挂载本地目录失败问题求助

核心问题根源 #

你混淆了Airflow容器内路径和宿主机路径的区别：DockerOperator是通过Airflow容器调用宿主机的Docker服务，所以挂载配置里的source必须是宿主机的实际路径，而非Airflow容器内部的路径。

方案1：使用Bind挂载（直接同步本地目录） #

步骤1：确认宿主机与Airflow容器的挂载配置

确保你的airflow-docker-compose.yaml中airflow-common部分的挂载是将宿主机本地目录映射到Airflow容器：

airflow-common:
  &airflow-common
  volumes:
    # 宿主机当前目录下的output文件夹 → Airflow容器内的/opt/airflow/output
    - ./output:/opt/airflow/output
    # 必须挂载docker.sock，让Airflow容器能调用宿主机Docker
    - /var/run/docker.sock:/var/run/docker.sock

同时手动创建宿主机的./output目录，并设置合适权限（比如chmod 777 ./output避免权限问题）。

步骤2：修改DockerOperator的挂载配置

直接使用宿主机的本地路径作为source，目标路径设为容器内的/app_base/output：

from airflow.providers.docker.operators.docker import DockerOperator
from airflow.models import DAG
from datetime import datetime

with DAG(
    dag_id="sync_local_output",
    start_date=datetime(2024, 1, 1),
    schedule_interval=None
) as dag:
    write_to_output = DockerOperator(
        task_id="write_to_output",
        image="your-custom-image:latest",
        command="bash -c 'echo test > /app_base/output/test.txt'",
        mounts=[
            {
                "type": "bind",
                # 这里填宿主机output目录的绝对路径，比如/home/xxx/airflow/output
                "source": "/path/to/your/local/output",
                "target": "/app_base/output",
                "read_only": False
            }
        ],
        docker_url="unix://var/run/docker.sock",
        network_mode="bridge"
    )

方案2：使用Docker Volume（更稳定的容器间共享） #

如果不想依赖宿主机路径，可改用Docker卷实现共享：

步骤1：创建Docker卷

在宿主机执行命令：

docker volume create airflow_output_volume

步骤2：修改Airflow Compose配置

将卷挂载到Airflow容器：

airflow-common:
  &airflow-common
  volumes:
    - airflow_output_volume:/opt/airflow/output
    - /var/run/docker.sock:/var/run/docker.sock

步骤3：配置DockerOperator

直接使用卷名作为source：

mounts=[
    {
        "type": "volume",
        "source": "airflow_output_volume",
        "target": "/app_base/output",
        "read_only": False
    }
]

验证方法 #

执行DAG后：

• 用Bind挂载：直接查看宿主机./output目录是否有新增文件
• 用Docker卷：执行docker volume inspect airflow_output_volume找到卷的宿主机物理路径，查看文件是否存在

内容的提问来源于stack exchange，提问作者Ani