Airflow部署MLOps任务遇PermissionError权限拒绝问题求助

问题背景 #

基于Airflow搭建MLOps流程，执行ml_pipeline的run_feature_pipeline任务时，触发权限错误：

PermissionError: [Errno 13] Permission denied: '/home/hud'

已完成Airflow常规部署：创建并配置日志/插件目录权限、设置.env环境变量、初始化数据库并启动Docker服务、自定义Dockerfile安装依赖，但问题未解决。

排查与解决步骤 #

1. 验证容器内目标目录权限 #

Airflow默认以airflow用户（UID/GID通常为50000）运行任务，容器内/home/hud目录可能不存在或权限不匹配：

• 进入Airflow Worker容器：

  docker exec -it <airflow-worker-container-name/id> bash
  

• 检查目录状态：

  ls -ld /home/hud
  

• 若目录不存在，创建并赋予airflow用户权限：

  mkdir -p /home/hud && chown -R airflow:airflow /home/hud
  

2. 同步本地挂载目录的权限（若使用目录挂载） #

如果/home/hud是本地目录挂载到容器内，需确保本地目录权限与容器内airflow用户匹配：

• 本地执行命令修改权限：

  chown -R 50000:50000 /path/to/local/hud-directory
  

  注：50000是Airflow默认用户的UID/GID，若自定义了用户，替换为对应数值。

3. 调整Feature Pipeline的输出路径 #

避免直接使用系统根目录下的路径，改用Airflow可控的目录（如/opt/airflow下的子目录）：

• 修改任务代码中的输出路径为/opt/airflow/data/feature_output
• 提前在容器内创建该目录并设置权限：

  mkdir -p /opt/airflow/data/feature_output && chown -R airflow:airflow /opt/airflow/data/feature_output
  

4. 在自定义Dockerfile中预配置目录权限 #

若使用自定义Dockerfile，在构建镜像时提前创建目标目录并设置权限：

FROM apache/airflow:2.x.x
# 其他依赖安装步骤...
RUN mkdir -p /home/hud \
    && chown -R airflow:airflow /home/hud

5. 检查任务执行上下文的权限设置 #

• 若使用BashOperator执行目录创建命令，不要使用sudo（容器内默认无sudo权限），直接用airflow用户执行：

  BashOperator(
      task_id="create_output_dir",
      bash_command="mkdir -p /home/hud"
  )
  

• 若使用PythonOperator，确保os.makedirs等操作添加exist_ok=True参数，避免重复创建引发的权限冲突：

  import os
  def create_dir():
      os.makedirs("/home/hud", exist_ok=True)
  

内容的提问来源于stack exchange，提问作者Hud