Airflow中DockerOperator的host_tmp_dir参数使用问题排查

问题根源 #

在Airflow 2.3.3版本中，DockerOperator的host_tmp_dir参数并非直接将指定的主机路径挂载到容器，而是用来指定Airflow自动生成临时挂载目录的父目录。当你设置mount_tmp_dir=True时，Airflow会在host_tmp_dir（即你指定的/tmp）下创建一个随机命名的空临时子目录，再将这个空目录映射到容器的tmp_dir（/data）。这就是为什么你执行ls /data时看到空内容——容器挂载的是那个随机空目录，而非主机的/tmp本身。

解决方案 #

要实现将主机特定路径（/tmp）直接挂载到容器指定目录（/data），需要使用mounts参数手动定义挂载规则，同时关闭自动临时挂载逻辑：

修改后的代码示例：

from airflow import DAG
from airflow.providers.docker.operators.docker import DockerOperator
from airflow.providers.docker.types import Mount
from datetime import datetime

with DAG(dag_id="test_v1",
        start_date=datetime(2022,7,10),
        catchup=False) as dag:

    t = DockerOperator(
        task_id='my_job',
        api_version='auto',
        image="debian:11-slim",
        # 关闭Airflow自动管理的临时挂载
        mount_tmp_dir=False,
        # 手动绑定主机/tmp到容器/data
        mounts=[
            Mount(source="/tmp", target="/data", type="bind")
        ],
        command=["ls", "/data"],
        auto_remove='force'
    )

额外注意事项 #

• 确保运行Airflow的用户（通常是airflow用户）对主机的/tmp路径拥有读写权限，否则挂载操作可能失败。
• Mount类需要从airflow.providers.docker.types导入，这是Airflow 2.x版本中定义自定义挂载的标准方式。

内容的提问来源于stack exchange，提问作者qcha