Airflow docker-compose部署下如何将dags挂载到Azure存储账户

下面是3种经过验证的实现方式，你可以根据你的部署场景选择：

方案1：虚拟机层通过blobfuse2挂载Blob存储（改造成本最低） #

这个方案完全兼容你现有的本地挂载逻辑，仅需要修改挂载源即可：

• 首先在运行docker服务的虚拟机上安装blobfuse2（Azure官方的Blob存储FUSE驱动），配置存储账户访问密钥/SAS令牌，将你存储账户中存放DAG的Blob容器，挂载到虚拟机的固定路径，例如/mnt/azure-dags
• 直接修改docker-compose.yml中的volumes配置即可：

volumes:
    - /mnt/azure-dags:/opt/airflow/dags

• 注意事项：需要配置blobfuse2的开机自动挂载规则，避免虚拟机重启后挂载失效，同时要给Airflow容器运行用户分配挂载目录的读写权限。

方案2：Airflow原生远程DAG拉取（无挂载依赖，更云原生） #

你已经配置好了Azure存储的日志写入权限，可直接复用权限配置，不需要做任何文件系统挂载：

• 首先确认你的Airflow镜像已经安装了Azure provider包，未安装的话在Dockerfile中添加如下命令重新构建镜像：

RUN pip install apache-airflow-providers-microsoft-azure

• 修改airflow.cfg中[core]段的配置：

dags_folder = wasb://<你的DAG容器名>@<存储账户名>.blob.core.windows.net/
# 复用你已经配置好的Azure存储连接ID
remote_dag_conn_id = <你之前配置日志用的Azure连接ID>

• 该方案下Airflow会自动从Blob存储拉取DAG文件到本地缓存执行，不需要维护FUSE挂载的稳定性问题，更适合云端部署。

方案3：K8s环境通过CSI驱动挂载 #

如果你后续是用Azure Kubernetes Service部署Airflow，可以直接使用Azure Blob CSI驱动创建持久卷声明（PVC），直接挂载到Airflow所有组件容器的/opt/airflow/dags路径，不需要操作节点层配置。

通用注意事项 #

Azure Blob存储为最终一致性模型，更新DAG文件后可能存在数秒的同步延迟，你可以按需调整Airflow的dag_dir_list_interval参数，修改DAG目录扫描频率。

内容的提问来源于stack exchange，提问作者Dipesh