如何实现Iceberg表同custID下排除当前X的拼接字段newField？

针对你的需求，这里提供两种可行的实现方式，分别是窗口函数方案（推荐，性能更优）和自连接方案（逻辑直观），以下是具体说明：

一、窗口函数方案（推荐） #

利用窗口函数先分组收集所有X值，再移除当前行的X值一次，最后拼接成目标字符串。该方案避免了自连接的性能开销，适合大数据量场景。

示例SQL（以Spark SQL为例） #

WITH cust_group_stats AS (
    SELECT 
        custID,
        X,
        uniqueTransId,
        -- 收集当前custID分组下的所有X值到数组
        collect_list(X) OVER (PARTITION BY custID) AS all_x_array,
        -- 统计当前custID分组的总行数
        count(*) OVER (PARTITION BY custID) AS group_row_count,
        -- 保留原表其他字段
        other_fields
    FROM your_iceberg_table_name
)
SELECT 
    custID,
    X,
    uniqueTransId,
    CASE
        -- 当custID为Null或分组仅1行时，newField设为Null
        WHEN custID IS NULL OR group_row_count = 1 THEN NULL
        ELSE 
            -- 移除数组中与当前行X匹配的第一个元素，再用下划线拼接
            array_join(
                filter(
                    zip_with(all_x_array, sequence(1, size(all_x_array)), (val, idx) -> 
                        IF(val = X AND idx = array_position(all_x_array, X), NULL, val)
                    ),
                    x -> x IS NOT NULL
                ),
                '_'
            )
    END AS newField,
    other_fields
FROM cust_group_stats;

关键逻辑说明 #

1. collect_list(X) OVER (PARTITION BY custID)：按custID分组，收集该组内所有X值到数组中；
2. zip_with + filter：通过数组位置标记，移除与当前行X匹配的第一个元素（处理重复X的场景）；
3. array_join：将处理后的数组用下划线拼接成字符串。

二、自连接方案 #

通过自连接匹配同一custID的其他行，收集并拼接X值。逻辑直观但性能较差，仅适合小数据量场景。

示例SQL #

SELECT 
    t1.custID,
    t1.X,
    t1.uniqueTransId,
    CASE
        -- custID为Null或无匹配的其他行时，newField设为Null
        WHEN t1.custID IS NULL OR COUNT(t2.X) = 0 THEN NULL
        ELSE array_join(collect_list(t2.X), '_')
    END AS newField,
    t1.other_fields
FROM your_iceberg_table_name t1
LEFT JOIN your_iceberg_table_name t2
    ON t1.custID = t2.custID
    -- 通过唯一的uniqueTransId排除当前行
    AND t1.uniqueTransId != t2.uniqueTransId
GROUP BY t1.custID, t1.X, t1.uniqueTransId, t1.other_fields;

关键逻辑说明 #

• 自连接时通过uniqueTransId != t2.uniqueTransId确保只关联同一custID下的其他行；
• 分组收集关联到的X值，拼接成目标字符串；
• 分组行数为0或custID为Null时，newField设为Null。

方案对比 #

内容的提问来源于stack exchange，提问作者Alok Singh