Airflow DAG开发求助：模块未找到与权限拒绝问题

1. Python依赖库安装与requirements.txt配置 #

正确安装依赖的方式 #

Airflow以airflow用户身份运行，必须确保依赖安装在该用户的Python环境中（而非root或其他用户的环境）：

• 安装单个库：

  su airflow -c "pip install pandasql beautifulsoup4"
  

• 批量安装requirements.txt中的依赖：

  su airflow -c "pip install -r /path/to/your/requirements.txt"
  

requirements.txt的放置位置 #

根据需求选择以下两种方式：

• 全局依赖：将requirements.txt放在Airflow主目录（默认/home/airflow/airflow）下，运行上述批量安装命令后，重启Airflow服务：

  sudo systemctl restart airflow-scheduler airflow-webserver
  

• 单DAG专属依赖：仅当前DAG需要的依赖，可将requirements.txt放在该DAG文件所在目录。注意：此方式仅适用于使用VirtualenvOperator或DockerOperator隔离运行环境的场景；若直接用PythonOperator执行代码，仍需在Airflow全局环境安装依赖。

2. 解决GCE实例上的PermissionError #

确认Airflow用户的路径权限 #

Airflow运行时使用airflow用户，需确保该用户对目标写入路径拥有读写权限：

• 查看目标路径的权限详情：

  ls -ld /your/target/write/path
  

• 修改路径归属为airflow用户：

  sudo chown -R airflow:airflow /your/target/write/path
  

• 或调整路径权限（适用于多用户共享目录场景）：

  sudo chmod -R 775 /your/target/write/path
  

选择安全的写入路径 #

避免使用系统根目录、其他用户私有目录（如/root、/home/non-airflow-user），优先选择Airflow用户默认有权限的目录：

• 示例路径：$AIRFLOW_HOME/dags/data（Airflow DAG目录下的子目录）
• 示例路径：/home/airflow/data（Airflow用户的主目录）

GCS FUSE挂载路径的特殊处理 #

如果是写入到通过GCS FUSE挂载的路径，需确保挂载时添加--allow-other参数，且airflow用户属于允许访问的用户组：

gcsfuse --allow-other your-gcs-bucket-name /your/mount/path

内容的提问来源于stack exchange，提问作者ber hana