Spark中`sample`与`TABLESAMPLE`的差异及性能优势原因解析

一、核心功能差异 #

• 抽样模式支持：sample() 支持放回（withReplacement=true）和不放回两种抽样模式，能覆盖不同统计场景需求；TABLESAMPLE 仅支持不放回的近似抽样，无法实现重复抽取同一条数据的场景。
• 抽样精度：sample() 是逐条数据做随机判断的精确抽样，抽样比例的准确性很高；TABLESAMPLE 是基于数据块的近似抽样，最终样本比例和设定值可能存在偏差，偏差程度和数据块的划分粒度直接相关。
• 适用场景：如果对抽样精度要求高、需要放回抽样，选 sample()；如果只是想快速获取近似样本做探索性分析，TABLESAMPLE 更适配。

二、TABLESAMPLE 更快的核心原因 #

TABLESAMPLE 的提速逻辑在于存储层直接按块筛选：

• 它不会像 sample() 那样读取全量数据再逐条判断，而是直接跳过大部分数据块，只读取符合抽样比例的块集合。比如数据按128MB块存储，设定抽10%的话，它只会挑选约10%的块加载。
• 这种方式省去了全量数据的序列化、反序列化和逐条处理的开销，从IO阶段就砍掉了大量不必要的计算，自然耗时大幅降低。

三、TABLESAMPLE 是否需要全表扫描？ #

不需要。它在读取数据之前就已确定要加载的目标数据块，只会读取选中的块，完全跳过未被选中的部分，全程不会触发全表扫描。而 sample() 必须读取所有数据才能完成逐条判断，属于实打实的全表扫描。

内容的提问来源于stack exchange，提问作者Daniel Tan