使用Airflow与dbt执行dbt debug时遇git权限错误的解决方法

在基于Airflow与dbt的项目开发中，使用AirflowBashOperator执行dbt debug命令时，收到权限错误提示：User does not have permissions for this command: "git"，调试返回结果如下：

配置信息：
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   profiles.yml 文件 [[32mOK 已找到且有效[0m]
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   dbt_project.yml 文件 [[32mOK 已找到且有效[0m]
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO - 

所需依赖项：
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -  - git [[31mERROR[0m]
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO - 

连接信息：
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   host: ****
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   port: ****
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   user: ***
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   database: ***
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   schema: ****
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   search_path: ***
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   keepalives_idle: ***
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   sslmode: ****
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO -   连接测试：[[32mOK 连接正常[0m]
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO - 

[31m1项检查失败：[0m
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO - Error from git --help: User does not have permissions for this command: "git"
[2022-08-09, 10:55:52 UTC] {subprocess.py:92} INFO - 

[2022-08-09, 10:55:52 UTC] {subprocess.py:96} INFO - 命令退出，返回码1
[2022-08-09, 10:55:52 UTC] {taskinstance.py:1889} ERROR - 任务执行失败并抛出异常

解决方法 #

• 检查Airflow运行用户的git权限
  Airflow任务默认以airflow用户运行，登录Airflow服务器，切换到airflow用户（执行su - airflow），直接运行git --version测试权限。若提示权限不足：

  • 确保git安装路径（通常为/usr/bin/git）对airflow用户开放执行权限，可运行chmod o+x /usr/bin/git；
  • 若git被系统权限工具（如sudoers、AppArmor、SELinux）限制，需修改对应配置，允许airflow用户执行git命令。

• 跳过dbt的git检查
  如果项目未使用git相关功能（比如不需要通过dbt deps拉取git仓库的包），可在执行dbt debug时添加--no-check-git参数，命令改为：dbt debug --no-check-git。

• 修正Airflow环境的PATH变量
  若Airflow运行环境的PATH不包含git安装路径，会导致找不到git命令。可在AirflowBashOperator中显式指定PATH：

  BashOperator(
      task_id='dbt_debug',
      bash_command='export PATH=$PATH:/usr/bin && dbt debug',
      # 其他任务配置
  )
  

  先通过which git获取git的绝对路径，替换上述命令中的/usr/bin。

• 使用dbt官方Airflow Operator
  替换BashOperator为官方DbtDebugOperator，更好地集成dbt与Airflow，避免环境变量和权限问题：

  from airflow.providers.dbt.cloud.operators.dbt import DbtDebugOperator
  
  dbt_debug_task = DbtDebugOperator(
      task_id='dbt_debug',
      dbt_cloud_conn_id='dbt_cloud',
      account_id=12345,
  )
  

内容的提问来源于stack exchange，提问作者Martha