BigQuery中除临时表外,如何复用TABLESAMPLE采样结果过滤多表?
复用BigQuery采样结果的替代方案
针对BigQuery中TABLESAMPLE因多次引用采样表报错的问题,除写入临时表外,可采用以下两种方案:
方案1:先合并目标表再关联采样结果
将需要过滤的两张表先通过UNION ALL合并,再与采样得到的ID子集做一次关联,确保采样表仅被扫描引用一次。
示例SQL:
WITH sampled_ids AS ( -- 仅执行一次采样,获取ID子集 SELECT id FROM `project.dataset.very_large_table` TABLESAMPLE SYSTEM (25 PERCENT) ), combined_target_tables AS ( -- 合并两张待过滤表 SELECT * FROM `project.dataset.table_1` UNION ALL SELECT * FROM `project.dataset.table_2` ) -- 一次性过滤合并后的表 SELECT ct.* FROM combined_target_tables ct JOIN sampled_ids s ON ct.id = s.id
方案2:将采样ID存入数组后复用
把采样得到的ID聚合为一个数组,再通过UNNEST数组分别关联两张目标表,这样采样表仅被扫描一次生成数组,后续复用数组内容即可。
示例SQL:
WITH sampled_id_array AS ( -- 采样并将ID聚合为数组 SELECT ARRAY_AGG(id) AS id_list FROM `project.dataset.very_large_table` TABLESAMPLE SYSTEM (25 PERCENT) ) -- 关联第一张表 SELECT t1.* FROM `project.dataset.table_1` t1 JOIN sampled_id_array s ON t1.id IN UNNEST(s.id_list) UNION ALL -- 复用同一ID数组关联第二张表 SELECT t2.* FROM `project.dataset.table_2` t2 JOIN sampled_id_array s ON t2.id IN UNNEST(s.id_list)
这两种方案都能避免采样表被多次引用的问题,同时实现仅采样一次并复用结果过滤多张表的需求。
内容的提问来源于stack exchange,提问作者Renier Botha
相关产品推荐
相关产品推荐

