Presto SQL：将数组拆分为行并随机采样100行的实现方案

你的核心需求是避免全量处理超大表的数组拆分，减少计算成本。当前提供的SQL会先全量UNNEST所有数组元素，再做后续过滤，本质还是会扫描整个大表，无法达到节省成本的目的。以下是针对性的优化方案：

核心优化思路 #

提前限制原表的处理行数，在UNNEST数组之前就减少需要处理的数据量，避免全表计算。

方案1：先随机取少量原表行，再拆分数组取前100 #

如果只需要随机获取100个数组元素，无需覆盖所有可能的元素，可以先从原表中抽取足够生成100个元素的行（比如假设每行数组平均有10个元素，取20行即可），再拆分行并取前100：

SELECT u.ids AS final_id
FROM (
    SELECT ids
    FROM raw
    WHERE ids IS NOT NULL  -- 先过滤空数组的行，减少无效计算
    ORDER BY random()
    LIMIT 20  -- 可根据实际数组平均长度调整，确保能产出100个元素
) t
CROSS JOIN UNNEST(t.ids) u(ids)
WHERE u.ids IS NOT NULL
LIMIT 100;

这个方案只处理原表的极小部分行，UNNEST的计算量大幅降低，能有效节省查询成本。

方案2：用表抽样获取样本后拆分（适合需要更均匀样本的场景） #

如果担心单取几行的样本不够均匀，可以用TABLESAMPLE先对原表做抽样，再拆分行取前100（主流SQL引擎如PostgreSQL、BigQuery都支持该语法）：

SELECT u.ids AS final_id
FROM raw
TABLESAMPLE SYSTEM(1)  -- 抽样原表1%的数据，可根据表大小调整比例
WHERE ids IS NOT NULL
CROSS JOIN UNNEST(raw.ids) u(ids)
WHERE u.ids IS NOT NULL
ORDER BY random()
LIMIT 100;

TABLESAMPLE能快速获取原表的样本数据，避免全表扫描，同时样本分布比单取几行更均匀。

原SQL的问题说明 #

你提供的原SQL会先对全表所有行的数组做UNNEST拆分，再执行分组、排序和行号过滤，整个过程需要扫描并处理整个大表，无法达到节省计算成本的目的。优化的关键就是把数据限制的步骤提前，在UNNEST之前就缩小处理范围。

内容的提问来源于stack exchange，提问作者Pratibha UR