Windows环境下容器部署的Airflow无法向磁盘写入文件是什么原因

该问题是Windows系统运行Docker版Airflow的常见问题，全程无报错的核心原因通常为写入位置和预期不符，或是权限规则静默失效，具体可能原因如下：

1. 写入的文件实际存储在容器内部，未同步到Windows本地 #

• 你在DAG中写入的/opt/airflow是容器内部路径，如果你启动容器时没有将该路径挂载映射到Windows本地的对应文件夹，写入的文件只会保存在容器的临时可写层中，你在Windows文件系统中自然找不到，同时写入操作在容器内是成功的，所以DAG不会报任何错误。
• 验证方法：在你的BashOperator命令末尾追加&& ls /opt/airflow && cat /opt/airflow/hi.txt，查看该任务的运行日志，如果能正常打印出hi.txt的内容，就属于该问题。
• 解决方法：启动容器时添加volume挂载规则，把Windows本地的文件夹映射到容器的/opt/airflow路径，示例docker run参数：-v C:\your\local\airflow_folder:/opt/airflow

2. 挂载目录的权限不匹配 #

• Docker Desktop在Windows上映射NTFS目录到Linux容器时，默认会把挂载目录的所有者设为root，而Airflow容器默认的运行用户是uid为50000的airflow用户，只有可读权限没有写入权限。部分Windows+WSL2的Docker环境会静默忽略无权限的写入操作，不会抛出异常，所以DAG运行显示成功但实际没有写入内容。
• 验证方法：在BashOperator中添加命令whoami && ls -ld /opt/airflow，查看运行用户和目录权限，如果目录所有者是root，且其他用户没有写权限（权限位为drwxr-xr-x），就属于该问题。
• 解决方法：启动容器时添加环境变量指定运行用户为root：-e AIRFLOW_UID=0，或者修改挂载目录的权限给所有用户开放写入权限。

3. Windows与Linux容器的文件系统兼容性问题 #

• 如果你使用的是WSL1后端的Docker Desktop，或者挂载的是Windows共享目录，NTFS文件系统和Linux的ext4文件系统的权限规则、文件锁机制不兼容，会导致写入操作无法同步到Windows本地，但容器内操作显示成功。
• 解决方法：切换Docker Desktop的后端为WSL2，或者把Airflow的工作目录放在WSL2的Linux文件系统内，再映射到容器中。

内容的提问来源于stack exchange，提问作者strawhat