在BigQuery中查询表分区元数据时遭遇报错，请求协助解决

问题描述 #

我的BigQuery项目中有一个数据集，包含约1005张表。执行以下查询获取分区元数据时：

SELECT count(*) FROM bq-tf-test-500-298.unravelFr8ks4.INFORMATION_SCHEMA.PARTITIONS;

收到报错提示：

INFORMATION_SCHEMA.PARTITIONS query attempted to read too many tables. Please add more restrictive filters

解决办法 #

BigQuery对INFORMATION_SCHEMA.PARTITIONS查询有表数量限制，当扫描的表超过1000张时就会触发该报错，可通过以下方式解决：

• 按表名过滤：如果只需要特定范围的表，用table_name字段缩小扫描范围，比如只查前缀为log_的表：

SELECT count(*) 
FROM bq-tf-test-500-298.unravelFr8ks4.INFORMATION_SCHEMA.PARTITIONS
WHERE table_name LIKE 'log_%';

• 按分区时间过滤：若仅关注特定时间内的分区，通过partition_time过滤：

SELECT count(*) 
FROM bq-tf-test-500-298.unravelFr8ks4.INFORMATION_SCHEMA.PARTITIONS
WHERE partition_time >= TIMESTAMP('2024-01-01');

• 分批查询全量数据：如果需要所有表的分区信息，可按表名范围拆分查询，比如分两次获取：

-- 第一批次：表名从A到M
SELECT count(*) 
FROM bq-tf-test-500-298.unravelFr8ks4.INFORMATION_SCHEMA.PARTITIONS
WHERE table_name BETWEEN 'A' AND 'M';

-- 第二批次：表名从N到Z
SELECT count(*) 
FROM bq-tf-test-500-298.unravelFr8ks4.INFORMATION_SCHEMA.PARTITIONS
WHERE table_name > 'M';

• 调用元数据API：如果需要批量获取全量表的分区元数据，可使用BigQuery的元数据API遍历数据集内的所有表，再逐个查询每张表的分区信息，避开INFORMATION_SCHEMA的查询限制。

内容的提问来源于stack exchange，提问作者Govind