求助：使用Apache Airflow将GCS JSON导入BigQuery时遇OAuth权限范围缺失错误

错误原因 #

你遇到的Access Denied: BigQuery BigQuery: Missing required OAuth scope. Need BigQuery or Cloud Platform write scope错误，核心是Airflow中配置的gcp_connection连接缺少BigQuery写入（或GCP全平台）的OAuth权限范围，导致任务无法向BigQuery写入数据。

具体解决步骤 #

1. 修改Airflow的GCP连接OAuth Scope配置

• 登录Airflow UI，进入Admin -> Connections页面，搜索你配置的gcp_connection
• 点击编辑该连接，在Extra字段中添加或更新权限范围，确保包含以下至少一个必要的scope：
  • https://www.googleapis.com/auth/bigquery：BigQuery读写权限（针对性更强）
  • https://www.googleapis.com/auth/cloud-platform：GCP全平台权限（范围更广，适合多服务场景）
  • 同时需要GCS读取权限，建议加上https://www.googleapis.com/auth/devstorage.read_write
• Extra字段的JSON格式示例：

  {
    "scope": "https://www.googleapis.com/auth/bigquery,https://www.googleapis.com/auth/devstorage.read_write"
  }
  

• 保存连接配置

2. 确认服务账号权限（若使用服务账号密钥）

如果你的gcp_connection是通过服务账号JSON密钥认证的，需确保该服务账号在GCP控制台拥有以下角色：

• BigQuery Data Editor：允许向BigQuery数据集/表写入数据
• BigQuery Job User：允许提交BigQuery作业
• Storage Object Viewer：允许读取GCS存储桶中的文件

3. 验证并重新运行任务

保存连接配置后，重新触发DAG任务，检查是否仍报错。若问题依旧，可在Airflow连接编辑页面尝试测试连接（部分Airflow版本支持），确认连接有效性。

内容的提问来源于stack exchange，提问作者uzair_zafar