Apache Spark 3.5.0中Spark SQL如何实现确定性数据采样？

要让Spark SQL的采样每次返回相同的子集，核心是固定随机种子，以下是两种可靠的实现方式：

方式一：使用TABLESAMPLE指定种子 #

Spark SQL的TABLESAMPLE语法支持通过SEED参数固定采样逻辑，这是最直接的表级采样方式：

SELECT *
FROM your_large_table
TABLESAMPLE (10 PERCENT) SEED(42);

• 10 PERCENT：指定采样比例，也可以替换为ROWS 10000（采样固定行数）或BYTES 1000000（采样固定字节数）
• SEED(42)：固定随机种子，可替换为任意整数，只要每次查询保持一致即可

方式二：使用rand(seed)函数筛选 #

如果需要更灵活的行级采样（比如结合其他过滤条件），可以用带种子的rand()函数生成稳定的随机值，再通过条件筛选：

SELECT *
FROM your_large_table
WHERE rand(42) <= 0.1; -- 筛选出约10%的数据

这里rand(42)会基于固定种子生成0到1之间的随机数，每次执行时同一行生成的数值完全一致，因此筛选结果稳定。

关键注意事项 #

• 避免使用无参数的rand()或不带SEED的TABLESAMPLE，这类采样逻辑依赖默认随机种子，每次执行结果都会变化
• 若全局需要统一采样种子，可设置Spark配置spark.sql.randomSeed=42，但查询中指定的SEED优先级更高
• 对于分区表，确保分区的存储顺序稳定（Spark 3.x默认分区顺序是确定的），配合固定种子即可保证采样一致性

内容的提问来源于stack exchange，提问作者Cristobal