Airflow DAG中执行Git命令遇权限拒绝错误（subprocess/BashOperator）

环境背景 #

• 本地通过Docker Compose部署Airflow 2.9.0（使用官方docker-compose.yaml）
• 运行容器：airflow-scheduler-1、airflow-triggerer-1、airflow-webserver-1、airflow-worker-1、postgres-1、redis-1
• 本地系统已安装Git，但Airflow DAG中通过subprocess或BashOperator执行git clone <repo>时出现权限拒绝错误，ls/echo等基础命令可正常运行

相关DAG代码 #

使用subprocess的DAG代码 #

from airflow.models import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
import subprocess
import shlex
from airflow.operators.bash import BashOperator

default_args = {
 'start_date': datetime(2024, 1, 1),
 'catchup': False
}

def _sub_process():
    cmd = ["ls"]
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    stdout, stderr = p.communicate()
    print(stdout)
    if p.returncode != 0:
      print(stderr)

with DAG('sub_processing', 
    schedule_interval='@hourly', 
    default_args=default_args) as dag:
    sub = PythonOperator(
        task_id='sub',
        python_callable=_sub_process
    )

使用BashOperator的DAG代码 #

from airflow.models import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
import subprocess
import shlex
from airflow.operators.bash import BashOperator

default_args = {
 'start_date': datetime(2024, 1, 1),
 'catchup': False
}

with DAG('sub_processing', 
    schedule_interval='@hourly', 
    default_args=default_args) as dag:

    run_this1 = BashOperator(
        task_id="run_after_loop1",
        bash_command='echo "hello world"'
    )

    run_this2 = BashOperator(
        task_id="run_after_loop2",
        bash_command="ls",
    )

    run_this3 = BashOperator(
        task_id="run_after_loop3",
        bash_command="git --version",
    )

    run_this1 >> run_this2 >> run_this3

问题分析与解决方案 #

核心原因 #

Airflow任务运行在容器内部，而非本地系统：

1. 容器内可能未安装Git：本地的Git不会自动同步到容器，官方镜像默认可能不含Git组件
2. 认证凭据缺失：执行git clone需要的SSH密钥、HTTPS账号密码等未同步到容器中
3. 目录权限不足：Airflow容器默认以airflow用户运行，克隆目标目录可能无写入权限

具体解决步骤 #

1. 确认并安装容器内的Git

先进入worker容器验证Git是否存在：

docker exec -it airflow-worker-1 bash
git --version

若提示command not found，执行以下命令临时安装（Debian/Ubuntu镜像）：

apt-get update && apt-get install -y git

如需永久生效，可修改docker-compose.yaml，给worker/scheduler配置自定义Dockerfile，在其中添加Git安装步骤。

2. 同步Git认证凭据到容器

针对SSH仓库

• 将本地SSH密钥挂载到容器的airflow用户目录下，修改docker-compose.yaml中airflow-worker和airflow-scheduler的volumes配置：

  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ~/.ssh:/home/airflow/.ssh:ro
  

• 进入容器修正密钥权限（避免Git权限警告）：

  docker exec -it airflow-worker-1 chown -R airflow:airflow /home/airflow/.ssh
  docker exec -it airflow-worker-1 chmod 600 /home/airflow/.ssh/id_rsa
  docker exec -it airflow-worker-1 chmod 644 /home/airflow/.ssh/id_rsa.pub
  

针对HTTPS仓库

• 临时方案：克隆命令中直接嵌入账号密码（不推荐，存在安全风险）：

  git clone https://username:password@github.com/your/repo.git
  

• 持久化方案：在容器内配置Git凭据助手，首次克隆时输入一次凭据即可自动保存：

  git config --global credential.helper store
  

3. 确保克隆目录有写入权限

Airflow默认工作目录为/opt/airflow，确认该目录归属airflow用户：

docker exec -it airflow-worker-1 ls -ld /opt/airflow

若克隆到自定义目录，需提前在DAG中添加权限配置：

mkdir -p /path/to/clone && chown airflow:airflow /path/to/clone

内容的提问来源于stack exchange，提问作者Ashwin Hegde