如何在Snowflake中按每k条记录分组生成array_agg(id)数组

该需求可以完全通过Snowflake原生SQL实现，无需额外开发UDF或其他组件。

实现逻辑 #

核心思路分三步：

• 按指定的排序规则，给表内所有待处理记录分配连续的行号
• 通过整除运算，把每k条记录划分到同一个分组下
• 按分组字段做array_agg聚合，就能得到每批最多k个id的数组结果

示例代码 #

以k=2、id序列为1,2,3,4,5的场景为例，可直接运行以下SQL：

-- 定义每批的最大元素数量k
SET batch_k = 2;

-- 分批聚合查询
SELECT array_agg(id) AS id_batch
FROM (
    SELECT
        id,
        -- 为每条记录计算所属批次号，每batch_k条共用同一个批次号
        FLOOR((ROW_NUMBER() OVER (ORDER BY id) - 1) / $batch_k) AS batch_no
    FROM 你的目标表名
) t
GROUP BY batch_no
ORDER BY batch_no;

结果说明 #

运行上述代码后，返回结果和预期完全一致：

• 第一行：[1,2]
• 第二行：[3,4]
• 第三行：[5]

如果对分批的id组合没有强制规则，窗口函数OVER()里的ORDER BY id可以替换为任意需要的排序字段；如果不指定排序规则，每次查询返回的批次内id组合可能存在波动，生产环境建议明确指定排序字段保证结果稳定。如果需要调整每批的大小，直接修改batch_k的参数值即可。

内容的提问来源于stack exchange，提问作者bsam