使用Terraform创建S3到BigQuery传输时遇无效参数错误

核心问题分析 #

你遇到的Error 400: Request contains an invalid argument错误，根源在于S3传输任务的配置要求与scheduled_query存在差异，且部分配置细节不符合BigQuery API规范。以下是针对性的解决方案：

1. 必须使用官方默认服务账号 #

BigQuery S3传输任务不支持自定义服务账号，只能使用官方提供的Data Transfer Service Agent账号，而scheduled_query允许自定义账号，这是两者的关键区别。

修改方式：
将amazon-transfer资源中的service_account_name替换为默认账号：

resource "google_bigquery_data_transfer_config" "amazon-transfer" {
  # ...其他配置
  service_account_name = "service-${data.google_project.project.number}@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com"
}

你已为该默认账号配置了roles/iam.serviceAccountShortTermTokenMinter权限，无需额外调整。

2. 修复敏感参数传递问题 #

从调试日志可见，secret_access_key被错误包含在普通params中，而它应该仅存在于sensitive_params块内。这是旧版本Terraform Google Provider的已知bug（你使用的4.51.0版本存在该问题）。

解决步骤：

• 升级Google Provider到最新稳定版本：

terraform {
  required_providers {
    google = {
      source  = "hashicorp/google"
      version = ">= 4.70.0" # 建议使用最新版本
    }
  }
}

• 执行terraform init -upgrade完成升级。

3. 规范参数格式细节 #

• 将skip_leading_rows改为字符串类型（API要求整数，但Terraform的params仅接受字符串，需显式转换）：

params = {
  # ...其他参数
  skip_leading_rows = "1"
}

• 确认data_path格式正确：确保桶名存在，通配符*.csv无拼写错误，路径无多余斜杠。

验证流程 #

1. 执行terraform plan确认配置变更符合预期
2. 执行terraform apply重新创建传输任务
3. 若仍报错，前往BigQuery控制台查看传输日志，获取更具体的错误信息

内容的提问来源于stack exchange，提问作者MatXXX