BigQuery分区表附加非分区字段过滤无返回问题咨询

问题说明 #

你使用的是通过business_date字段按天分区的表，仅使用分区字段作为过滤条件的查询可正常返回结果，添加item字段过滤后无返回结果，且确认表中存在匹配数据，可按以下原因排查修正：

可能的问题原因 #

• 字段类型不匹配：如果表中item字段为INT64、NUMERIC等数值类型，你在查询时给过滤值添加了单引号，转为字符串类型进行匹配，BigQuery的隐式类型转换规则会导致匹配失效。单独使用分区字段查询时不需要判断item字段，所以可以正常返回结果。
• 字段值存在不可见字符：如果item为字符串类型，表中存储的item值可能包含前导/后置空格、制表符等不可见字符，直接做精确匹配无法命中。
• 分区配置异常：如果表实际为摄取时间分区表，仅关联了business_date作为业务分区标识，多条件查询时可能触发分区裁剪错误，导致数据没有被正常扫描。

排查与修正方案 #

1. 首先确认item字段类型，执行以下查询查看表结构：

SELECT column_name, data_type 
FROM `TestProj.INFORMATION_SCHEMA.COLUMNS` 
WHERE table_name = 'table_name' AND column_name = 'item'

如果查询返回的data_type为数值类型，去掉过滤值的单引号即可，修正后的查询语句如下：

SELECT * from `TestProj.table_name`
WHERE business_date = '2021-01-31'
AND item = 102064962

2. 如果item确认为字符串类型，使用字符清理函数验证是否存在不可见字符：

SELECT * from `TestProj.table_name`
WHERE business_date = '2021-01-31'
AND TRIM(item) = '102064962'

如果上述语句可以正常返回结果，说明item值存在空白字符，后续查询可以统一用TRIM()函数清理字段值后再做匹配。
3. 确认表分区配置是否符合预期，执行以下语句查看分区信息：

SELECT partition_column, partition_type 
FROM `TestProj.INFORMATION_SCHEMA.PARTITIONS` 
WHERE table_name = 'table_name'

如果返回的partition_column不是business_date，需要按实际的分区字段调整过滤逻辑。

内容的提问来源于stack exchange，提问作者karl cedrick pelagio