Cloud Scheduler调用BigQuery API报INVALID_ARGUMENT错误求助

核心问题拆解 #

你的问题包含两个关键点：

1. Cloud Scheduler内置OAuth调用BigQuery API返回INVALID_ARGUMENT，但手动curl调用成功
2. 无法为服务账号添加roles/drive.readonly角色到项目IAM

一、roles/drive.readonly角色无法添加的原因 #

roles/drive.readonly是Google Drive生态的权限角色，不属于GCP项目IAM的权限体系。GCP项目IAM仅能管理GCP服务（如BigQuery、Cloud Scheduler）的角色，Drive相关权限必须直接在目标Drive文件/文件夹上配置：

• 打开目标Google Sheet，点击「分享」
• 添加你的服务账号邮箱（var.service_account_email），授予「查看者」权限即可满足BigQuery读取Sheet的需求

二、Cloud Scheduler内置OAuth调用失败的排查方向 #

结合你手动curl成功的测试结果，问题大概率出在Cloud Scheduler的请求配置或OAuth Token的属性上，以下是具体排查步骤：

1. 修正OAuth Scope配置

你手动测试使用的Scope是https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/drive.readonly，但Cloud Scheduler配置的是https://www.googleapis.com/auth/bigquery https://www.googleapis.com/auth/drive。虽然后者权限范围更大，但BigQuery API对Token的Scope校验可能存在细节差异，建议调整为与手动测试一致的Scope：

oauth_token {
  service_account_email = var.service_account_email
  scope                 = "https://www.googleapis.com/auth/cloud-platform https://www.googleapis.com/auth/drive.readonly"
}

2. 补充BigQuery查询的Location参数

BigQuery API的projects/queries端点若未指定location，会默认使用US区域。如果你的数据集不在US区域，会触发INVALID_ARGUMENT错误。在请求体中添加location字段：

body = base64encode(
  jsonencode({
    query = templatefile(var.sql_file_path, var.sql_template_vars),
    useLegacySql = false,
    location = var.region  // 与你的数据集/调度任务区域一致，如europe-west2
  })
)

3. 验证请求体的JSON格式

虽然你手动提取的请求体是有效的，但需确认Terraform生成的JSON无语法错误（如多余逗号）。执行以下命令检查调度任务的实际请求体：

gcloud scheduler jobs describe ${SCHEDULE_NAME} \
  --location europe-west2 \
  --format=json | jq -r '.httpTarget.body' | base64 --decode

确保输出的JSON格式合法，无语法错误。

4. 查看Cloud Scheduler的详细执行日志

你提到无法查看BigQuery底层日志，但可以通过Cloud Logging查看Cloud Scheduler的完整请求/响应日志，获取INVALID_ARGUMENT的具体原因：

• 打开Cloud Logging，使用以下过滤条件：

  resource.type="cloud_scheduler_job"
  resource.labels.job_name="${SCHEDULE_NAME}"
  resource.labels.location="europe-west2"
  

• 查看日志中的httpRequest和statusDetails字段，会包含更详细的错误描述（如JSON解析失败、区域不匹配等）

三、验证解决方案 #

调整配置后，重新部署Terraform：

terraform apply

等待调度任务执行，或手动触发一次测试：

gcloud scheduler jobs run ${SCHEDULE_NAME} --location europe-west2

再查看日志确认是否成功。

内容的提问来源于stack exchange，提问作者Maths noob