无法将Pub/Sub推送订阅数据同步至BigQuery，请求排查

1. 完善推送订阅的OAuth2身份验证配置 #

你的google_pubsub_subscription资源缺少OAuth2服务账号指定，Pub/Sub需要明确用哪个服务账号来认证调用BigQuery的请求。在push_config块中添加oauth2_service_account_email字段：

resource "google_pubsub_subscription" "standarized_vehicles_subscription" {
  name  = var.bq_sub_name 
  topic = google_pubsub_topic.topic_standarized_vehicles.name
  
  push_config {
    push_endpoint = "https://bigquery.googleapis.com/bigquery/v2/projects/${data.google_project.project.project_id}/datasets/${var.dataset_id}/tables/${var.bq_table_id}/insertAll"
    # 指定Pub/Sub的服务账号用于OAuth2认证
    oauth2_service_account_email = "service-${data.google_project.project.number}@gcp-sa-pubsub.iam.gserviceaccount.com"
  }  
}

这是核心缺失项：未指定服务账号时，Pub/Sub无法用正确身份向BigQuery发起写入请求。

2. 验证消息格式完全匹配BigQuery表Schema #

Pub/Sub推送的消息必须严格符合BigQuery insertAll API的格式要求：

• 消息体为JSON格式，包含rows数组，每个数组元素需带json字段（对应表的行数据）
• 字段名、数据类型必须与BigQuery表的Schema完全一致

示例正确消息格式：

{
  "rows": [
    {
      "json": {
        "vehicle_id": "V123",
        "timestamp": "2024-05-20T10:00:00Z",
        "speed": 65.5
      }
    }
  ]
}

格式不符合时，BigQuery会静默拒绝写入，无明显错误提示。

3. 确认Pub/Sub服务账号权限有效性 #

虽然已授予roles/bigquery.dataEditor和roles/bigquery.metadataViewer，需额外验证：

• 服务账号的service-${PROJECT_NUMBER}部分是否正确（可通过gcloud projects describe ${PROJECT_ID} --format="value(projectNumber)"确认）
• 权限绑定的数据集ID、表ID是否与实际创建的资源一致（避免变量引用错误）

4. 启用推送日志排查错误 #

在Cloud Logging中查看Pub/Sub推送日志（过滤器：resource.type="pubsub_subscription" AND resource.labels.subscription_id="${var.bq_sub_name}" AND logName="projects/${var.PROJECT_ID}/logs/pubsub.googleapis.com%2Fpush_requests"），可直接获取推送失败的具体原因：

• 权限不足错误
• 消息格式错误
• BigQuery表不存在（变量引用错误）

5. 配置重试和死信队列（可选但关键） #

添加重试策略和死信队列，避免临时错误导致消息丢失，同时便于排查持续失败的消息：

resource "google_pubsub_subscription" "standarized_vehicles_subscription" {
  name  = var.bq_sub_name 
  topic = google_pubsub_topic.topic_standarized_vehicles.name
  
  push_config {
    push_endpoint = "https://bigquery.googleapis.com/bigquery/v2/projects/${data.google_project.project.project_id}/datasets/${var.dataset_id}/tables/${var.bq_table_id}/insertAll"
    oauth2_service_account_email = "service-${data.google_project.project.number}@gcp-sa-pubsub.iam.gserviceaccount.com"
  }  

  # 配置重试策略
  retry_policy {
    minimum_backoff = "60s"
    maximum_backoff = "600s"
  }

  # 配置死信队列（需提前创建死信主题）
  dead_letter_policy {
    dead_letter_topic = google_pubsub_topic.dlq_topic.name
    max_delivery_attempts = 5
  }
}

内容的提问来源于stack exchange，提问作者star001