BigQuery中COUNT(DISTINCT)含STRUCT参数报错的解决方案咨询

问题原因 #

当你在COUNT(DISTINCT)中传入多个字段（如A.SALES_ORDER_NUM, A.ODR_ITEM）时，BigQuery会自动将这些字段打包成STRUCT类型，但DISTINCT聚合函数不支持以STRUCT作为参数，因此触发报错。

可行解决方案 #

方案1：字段拼接成字符串计数

将多个字段用分隔符拼接成单个字符串，再对字符串做DISTINCT计数。注意添加分隔符（如|）避免不同字段值组合后产生冲突：

bq query --use_legacy_sql=false "select A.ID,
COUNT(distinct(A.SALES_ORDER_NUM)) AS SALES_ORDER_NUM_COUNT,
COUNT(distinct(CONCAT(IFNULL(A.SALES_ORDER_NUM, ''), '|', IFNULL(A.ODR_ITEM, '')))) AS ORDER_ITM_NUM_COUNT,
from table A
GROUP BY 1;"

• 用IFNULL处理字段为NULL的情况，避免拼接结果为NULL导致计数遗漏。

方案2：通过HASH函数转换STRUCT

利用HASH()函数将STRUCT转换为整数哈希值，再对哈希值做DISTINCT计数：

bq query --use_legacy_sql=false "select A.ID,
COUNT(distinct(A.SALES_ORDER_NUM)) AS SALES_ORDER_NUM_COUNT,
COUNT(distinct(HASH(STRUCT(A.SALES_ORDER_NUM, A.ODR_ITEM)))) AS ORDER_ITM_NUM_COUNT,
from table A
GROUP BY 1;"

• 哈希碰撞概率极低，适合大多数业务场景；若要求绝对精确，建议选择其他方案。

方案3：先去重再计数

通过子查询先对ID、SALES_ORDER_NUM、ODR_ITEM组合去重，再在外层分组计数：

bq query --use_legacy_sql=false "select ID,
COUNT(distinct SALES_ORDER_NUM) AS SALES_ORDER_NUM_COUNT,
COUNT(*) AS ORDER_ITM_NUM_COUNT
from (
    select distinct ID, SALES_ORDER_NUM, ODR_ITEM
    from table A
)
group by ID;"

• 逻辑直观，绝对精确，适合对数据准确性要求高的场景。

内容的提问来源于stack exchange，提问作者Shibu