使用Spark查询BigQuery元数据表__TABLES__和INFORMATION_SCHEMA.TABLES报错如何解决

问题根因 #

你遇到的报错是0.22.0版本BigQuery Spark连接器的已知缺陷：该版本对__TABLES__、INFORMATION_SCHEMA这类系统视图/表的路径解析逻辑存在bug，会错误切割路径字段校验项目ID格式，或触发内部查询错误。

方案1：使用BigQuery原生Java客户端查询元数据（最稳定，无需依赖Spark读写逻辑） #

这个方案绕过Spark连接器的读写逻辑，直接调用BigQuery OpenAPI查询元数据，性能和稳定性远高于用Spark读系统表。

1. 首先引入BigQuery客户端依赖（如果项目未引入）：

<!-- Maven依赖 -->
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-bigquery</artifactId>
    <version>1.108.0</version> <!-- 适配你用的连接器版本即可 -->
</dependency>

2. Scala代码示例：

import com.google.cloud.bigquery.{BigQuery, BigQueryOptions, DatasetId, TableId}

// 初始化客户端
val bigquery: BigQuery = BigQueryOptions.newBuilder()
  .setProjectId("<你的项目ID>")
  .setCredentials(<你的凭证对象>)
  .build().getService

// 1. 单表存在性判断
def isTableExists(projectId: String, datasetId: String, tableName: String): Boolean = {
  bigquery.getTable(TableId.of(projectId, datasetId, tableName)) != null
}

// 2. 批量查询指定日期范围内的所有表
import scala.collection.JavaConverters._
def listDateRangeTables(projectId: String, datasetId: String, datePrefix: String, startDate: String, endDate: String): List[String] = {
  bigquery.listTables(DatasetId.of(projectId, datasetId)).iterateAll().asScala
    .map(_.getTableId.getTable)
    .filter(table => table.startsWith(datePrefix))
    // 假设你的表名格式为${prefix}_yyyyMMdd，可根据实际规则调整过滤逻辑
    .filter(table => {
      val dt = table.split("_").last
      dt >= startDate && dt <= endDate
    })
    .toList
}

方案2：升级连接器或使用query参数绕路解析逻辑 #

可选操作1：直接升级连接器版本 #

升级到0.24.2及以上版本的Spark BigQuery连接器，该版本已修复系统表路径解析bug，你原本的load代码可直接运行。

可选操作2：不升级版本，使用query选项提交查询 #

无需改版本，通过直接指定查询语句的方式绕开连接器的表路径解析逻辑：

spark.read
  .format("bigquery")
  .option("credentials", <key>)
  .option("parentProject", <projectId>)
  .option("viewsEnabled", "true")
  .option("materializationDataset", <datasetId>)
  .option("query", s"SELECT * FROM `<projectId>.<datasetId>.INFORMATION_SCHEMA.TABLES` WHERE table_schema = '<datasetId>'")
  .load() // 此处不需要传表路径

查询__TABLES__也可以用同样的方式：

spark.read
  .format("bigquery")
  .option("credentials", <key>)
  .option("parentProject", <projectId>)
  .option("viewsEnabled", "true")
  .option("materializationDataset", <datasetId>)
  .option("query", s"SELECT table_id FROM `<projectId>.<datasetId>.__TABLES__`")
  .load()

权限校验注意 #

确保你使用的服务账号有目标数据集的bigquery.tables.list权限，否则元数据查询会返回权限错误。

内容的提问来源于stack exchange，提问作者philantrovert