Redshift中为每个ID随机选取唯一记录的实现方案

针对你需要为表中数千个ID各随机选取一条记录的需求，直接循环每个ID执行select * from mytable where id=xxx order by random limit 1效率极低，这里推荐两种更高效的批量处理方案：

方法一：使用窗口函数（推荐） #

利用Redshift支持的窗口函数ROW_NUMBER()，可以一次性为每个ID分组并随机排序，然后取每组的第一条记录，只需要扫描表一次，性能最优：

WITH ranked_records AS (
    SELECT 
        id,
        trm_num,
        start_time,
        -- 按ID分组，组内随机排序，生成行号
        ROW_NUMBER() OVER (PARTITION BY id ORDER BY RANDOM()) AS row_rank
    FROM mytable
)
-- 筛选每个ID的第一条随机记录
SELECT id, trm_num, start_time
FROM ranked_records
WHERE row_rank = 1;

原理说明 #

• PARTITION BY id：将整个表的数据按id字段分组，每个ID单独形成一个分组
• ORDER BY RANDOM()：在每个分组内随机打乱记录顺序
• ROW_NUMBER()：为每个分组内的记录生成连续的行号，随机排序后行号为1的就是该ID的随机记录

方法二：大表抽样优化（可选） #

如果你的表数据量特别巨大，全表扫描开销很高，可以先通过SAMPLE子句抽取部分数据，再用窗口函数处理。注意这种方法无法保证每个ID都能抽到记录，仅适合不需要覆盖所有ID的场景：

WITH sampled_data AS (
    -- 按比例抽样，这里是10%，可根据需求调整
    SELECT * FROM mytable SAMPLE 10
),
ranked_records AS (
    SELECT 
        id,
        trm_num,
        start_time,
        ROW_NUMBER() OVER (PARTITION BY id ORDER BY RANDOM()) AS row_rank
    FROM sampled_data
)
SELECT id, trm_num, start_time
FROM ranked_records
WHERE row_rank = 1;

为什么不推荐循环单ID查询？ #

Redshift是列存储数据库，擅长批量处理大规模数据。循环数千次单ID查询会产生大量不必要的连接和扫描请求，性能比批量处理差几个数量级，而且容易触发Redshift的并发限制。

内容的提问来源于stack exchange，提问作者AKSHAY SHINGOTE