如何在SQL数据库中基于id列唯一值随机子采样并提取对应全量行

通用SQL写法 #

核心逻辑是先对id列去重后随机采样指定数量的id，再关联原表拉取对应所有行，避免行级采样的不均匀问题，写法如下：

SELECT t.*
FROM 你的表名 t
INNER JOIN (
    -- 子查询：从id列去重后均匀随机取2个唯一id
    SELECT DISTINCT id
    FROM 你的表名
    ORDER BY RAND()
    LIMIT 2
) sampled_id ON t.id = sampled_id.id

• 不同数据库的随机函数略有差异：PostgreSQL用RANDOM()、SQL Server用NEWID()、MySQL用RAND()即可。
• 如果id列建有索引，子查询仅需扫描索引就能拿到去重id，执行效率极高，完全不需要拉取全表数据，比导出全量DataFrame再处理的性能好很多。

AWS环境适配优化 #

Sagemaker环境下通常会搭配Athena（Presto引擎）、Redshift作为查询引擎，对应调整随机函数即可：

• Athena/Presto/Redshift场景：将上述RAND()替换为RANDOM()
• 额外提速技巧：如果你的表是分区表，在子查询和外层查询都加上分区过滤条件，避免扫描无关分区数据；需要复现采样结果时可以给随机函数传入固定种子，比如RANDOM(1234)，每次运行都会得到相同的采样id。

轻量替代方案 #

如果你习惯用Python做采样控制，也可以分两步执行：

1. 先执行SQL拿到所有唯一id列表：SELECT DISTINCT id FROM 你的表名
2. 在Python中随机采样2个id，拼接成IN查询条件再查询全量行：SELECT * FROM 你的表名 WHERE id IN ('a', 'b')
   这种方式同样不需要拉取全表数据，灵活度更高。

内容的提问来源于stack exchange，提问作者Akira