Airflow 2.5.3版本中DockerOperator是否有变更及文件找不到问题咨询

2.1.0 → 2.5.3 DockerOperator 的关键变化 #

• 工作目录默认值变更：Airflow 2.3.0 之后，DockerOperator 默认的working_dir不再沿用 Airflow 容器的工作目录（通常是/opt/airflow），而是采用镜像本身的 WORKDIR；如果镜像未指定 WORKDIR，则默认为空。而 2.1.0 版本默认使用 Airflow 容器的AIRFLOW_HOME路径，这会导致用相对路径引用文件时，新版本的工作目录不匹配，进而出现文件找不到的情况。
• 用户权限管控强化：2.5.x 版本对容器内用户隔离做了强化，DockerOperator 默认不再强制使用 Airflow 容器的airflow用户执行命令，除非显式指定user参数。如果你的镜像中未创建airflow用户，或者挂载目录的权限与容器内当前用户不匹配，会引发文件访问失败。
• 挂载路径逻辑调整：新版本处理mounts参数时，相对路径会基于容器的working_dir解析，而非 Airflow 容器的路径。如果你的命令使用相对路径引用挂载的文件，就会出现路径错误。

解决办法 #

• 手动指定工作目录：在 DockerOperator 中添加working_dir="/opt/airflow"，和 2.1.0 版本的行为保持一致。示例代码：

  DockerOperator(
      task_id="run_python_script",
      image="your-image:tag",
      command="python your_script.py",
      working_dir="/opt/airflow",
      # 其他必要参数
  )
  

• 指定 airflow 用户执行：如果必须用airflow用户执行命令，显式设置user="airflow"，同时确保镜像中存在该用户，且挂载目录对该用户有读写权限。示例：

  DockerOperator(
      task_id="run_python_script",
      image="your-image:tag",
      command="python your_script.py",
      user="airflow",
      # 其他必要参数
  )
  

• 改用绝对路径引用文件：命令或脚本中避免使用相对路径，直接使用挂载后的绝对路径，比如python /opt/airflow/your_script.py。
• 检查挂载配置：确认mounts参数中的主机路径和容器路径对应正确，确保文件确实被挂载到了容器内的指定位置。

内容的提问来源于stack exchange，提问作者Harshith S H