如何在Apache Airflow中配置Google Cloud BigQuery连接及排查密钥路径报错

问题核心原因 #

你填写的Keyfile Path和Airflow运行环境的实际路径不匹配，该问题多出现于容器化部署的Airflow场景下，可按以下步骤排查解决：

• 补全正确的绝对路径
  如果是Docker/Docker Compose部署的Airflow，默认本地的airflow-projects/dags目录会映射到容器内部的/opt/airflow/dags路径，对应的密钥文件完整路径应该是/opt/airflow/dags/keys/serviceKey.json，直接把这个路径填到Connection的Keyfile Path字段即可。
  如果是直接在物理机/虚拟机上部署的Airflow，直接填密钥在系统中的完整绝对路径，比如/home/你的用户名/airflow-projects/dags/keys/serviceKey.json，不要使用简写的半截绝对路径。
• 验证路径可用性
  可以写一个临时测试DAG确认路径是否正确，代码如下：

import os
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

with DAG(
    'check_key_path',
    schedule_interval=None,
    start_date=datetime(2023,1,1),
    catchup=False
) as dag:
    def check_path():
        # 打印当前工作目录
        print("Airflow工作目录：", os.getcwd())
        # 尝试列出keys目录内容
        try:
            print("keys目录文件：", os.listdir("/opt/airflow/dags/keys"))
        except Exception as e:
            print("路径访问错误：", e)
    
    check_task = PythonOperator(
        task_id='check_path',
        python_callable=check_path
    )

运行这个DAG后查看任务日志，就能确认具体的路径问题。

• 检查文件权限
  确认Airflow运行用户（默认是airflow）对密钥文件有读权限，可以执行命令修改权限：chmod 644 /你的本地路径/serviceKey.json，避免权限不足导致的访问失败。
• 可选替代方案：直接填密钥内容
  如果不想处理路径映射问题，可以直接打开服务账号JSON文件，把全部内容复制到Airflow连接配置的Keyfile JSON输入框中，留空Keyfile Path字段即可，不需要依赖本地文件路径。

内容的提问来源于stack exchange，提问作者Shadow Walker