BigQuery数据集含分区表普通表时通配符查询报错如何解决
BigQuery混合分区表与普通表的通配符查询解决方案
报错原因
BigQuery通配符查询要求匹配到的所有表必须具备完全一致的分区类型与表结构,不支持同时匹配分区表和普通表,因此会触发你遇到的报错。
可行解决方案
方案1:按表类型拆分通配符查询后合并
如果你的分区表和普通表的命名有明确的规律可以拆分,分别用两个通配符查询对应两类表,再用UNION ALL合并结果即可,示例代码如下:
-- 匹配分区表范围 SELECT * FROM `dataset.data_2021_05_0[4-5]` UNION ALL -- 匹配普通表范围 SELECT * FROM `dataset.data_2021_05_0[6-7]`
方案2:显式列出所有表合并
如果表的命名没有可区分的规律,直接列出所有需要查询的表进行合并:
SELECT * FROM `dataset.data_2021_05_04` UNION ALL SELECT * FROM `dataset.data_2021_05_05` UNION ALL SELECT * FROM `dataset.data_2021_05_06` UNION ALL SELECT * FROM `dataset.data_2021_05_07`
方案3:通过INFORMATION_SCHEMA自动生成查询语句
当表数量较多手动拼接成本高时,可以通过查询系统表自动生成合并SQL:
- 执行以下语句生成最终查询代码:
SELECT STRING_AGG( FORMAT("SELECT * FROM `%s.%s`", table_schema, table_name), " UNION ALL " ) AS generated_sql FROM `your_dataset_id.INFORMATION_SCHEMA.TABLES` WHERE table_name LIKE 'data_%'
- 复制上一步返回的
generated_sql字段内容,直接执行即可得到所有表的合并结果。
注意事项
所有参与合并的表必须保证字段顺序、字段类型完全匹配,若表结构存在差异,不要使用SELECT *,需在每个查询子句中显式指定需要查询的字段,确保字段对齐避免报错。
内容的提问来源于stack exchange,提问作者Muhammad Muflih
相关产品推荐
相关产品推荐

