BigQuery中仅查询log_前缀表数据的方法(排除log_history_)
解决BigQuery仅查询
log_前缀表的问题 这个问题我之前也碰到过,BigQuery的通配符*会匹配所有以log_开头的表,自然也会包含log_history_前缀的表——毕竟log_history_本身就是以log_开头的。下面给你几个可行的解决方案,不需要修改表名就能实现需求:
方法一:通过_TABLE_SUFFIX过滤排除历史表
因为你的表是日期分区表,log_前缀的表后缀应该是日期格式(比如20240101),而log_history_前缀的表后缀是history_+日期(比如history_20240101)。我们可以直接过滤掉后缀以history_开头的表:
SELECT id, data FROM `你的项目名.数据集名.log_*` WHERE NOT _TABLE_SUFFIX LIKE 'history_%'
这个方法效率很高,因为_TABLE_SUFFIX是BigQuery针对通配符表提供的元数据字段,过滤逻辑直接作用在表匹配阶段,不会额外扫描不必要的数据。
方法二:通过_TABLE_NAME直接匹配完整表名
如果你不确定后缀格式,也可以直接针对完整表名做过滤,排除所有以log_history_开头的表:
SELECT id, data FROM `你的项目名.数据集名.log_*` WHERE NOT _TABLE_NAME LIKE 'log_history_%'
这个方法更直观,不管表后缀是什么,只要完整表名是log_history_开头的都会被排除。
方法三:用正则表达式严格匹配日期后缀
如果你的log_表后缀是固定格式的日期(比如8位数字的年月日),还可以用正则表达式精确匹配符合条件的表后缀,彻底排除非日期后缀的表(包括log_history_类的表):
SELECT id, data FROM `你的项目名.数据集名.log_*` WHERE REGEXP_MATCH(_TABLE_SUFFIX, r'^\d{8}$')
这个正则表达式^\d{8}$表示后缀必须是正好8位数字,完美匹配日期分区的表后缀,同时自动过滤掉带history_的表后缀。
内容的提问来源于stack exchange,提问作者user44319
相关产品推荐
相关产品推荐

