HUE SQL中WITH语句使用GROUP_CONCAT报错及指定拼接顺序问题

报错原因说明 #

AnalysisException: Could not resolve column/field reference: Number 报错通常由两个问题导致：

• WITH临时表未显式定义Number字段，或者查询时字段引用层级错误
• 聚合查询时未正确配置分组维度，导致字段无法被识别

兼容Impala（HUE默认引擎）的实现代码 #

WITH base_data AS (
    -- 前置过滤仅保留Type为A、B的记录，减少无效计算
    SELECT 
        A.Date,
        A.Masterref,
        B.Sub_Reference,
        C.Number,
        C.Type
    FROM 表A A
    -- 替换为你实际的表关联条件
    INNER JOIN 表B B ON A.关联键 = B.关联键
    INNER JOIN 表C C ON B.关联键 = C.关联键
    WHERE C.Type IN ('A', 'B')
)
SELECT 
    Date,
    Masterref,
    Sub_Reference,
    -- ORDER BY Type ASC 保证A在前B在后，第二个参数可自定义分隔符
    GROUP_CONCAT(Number, ',' ORDER BY Type ASC) AS Number
FROM base_data
GROUP BY Date, Masterref, Sub_Reference;

Hive引擎适配写法 #

如果HUE对接的是Hive、不支持GROUP_CONCAT内直接排序，使用以下写法：

WITH base_data AS (
    SELECT 
        A.Date,
        A.Masterref,
        B.Sub_Reference,
        C.Number,
        C.Type
    FROM 表A A
    INNER JOIN 表B B ON A.关联键 = B.关联键
    INNER JOIN 表C C ON B.关联键 = C.关联键
    WHERE C.Type IN ('A', 'B')
    -- 分组内提前按Type排序
    DISTRIBUTE BY Masterref, Sub_Reference SORT BY Type ASC
)
SELECT 
    Date,
    Masterref,
    Sub_Reference,
    CONCAT_WS(',', COLLECT_LIST(Number)) AS Number
FROM base_data
GROUP BY Date, Masterref, Sub_Reference;

关键逻辑说明 #

• 筛选逻辑前置：在临时表阶段就过滤掉Type为C的记录，避免无关数据干扰拼接结果
• 拼接顺序控制：通过Type字段升序排序保证A对应的Number排在前面，B对应的Number排在后面
• 分组规则：所有非聚合字段都要放到GROUP BY子句中，避免聚合查询报错

内容的提问来源于stack exchange，提问作者Huwbie