在Impala中用random()或TABLESAMPLE SYSTEM()随机采样n行的可靠性问题

你采用ORDER BY RANDOM() LIMIT 10000的方案完全可以满足全局随机采样10000行的需求，不会出现单国家占比过高的偏差。

这种逐行生成随机数再排序取Top N的逻辑，和数据的写入顺序、存储分布完全无关：每一行都会独立生成一个0-1的随机值，所有行按该值排序后，任意行被选中进入前10000条的概率完全均等。你的表按国家维度集中写入仅会影响数据的物理存储顺序，不会影响该采样逻辑的随机性，完全可以得到均匀覆盖各个国家的样本。

两种方案的特性对比 #

• 方案1（ORDER BY RANDOM() LIMIT <n>）
  • 优势：采样无偏、均匀度高，完美适配你这种数据按维度集中存储的场景
  • 劣势：需要全表扫描并为所有行计算随机值、做排序，性能略低于块采样，但2000万行的规模对于Impala来说计算压力极小，完全可以正常运行
• 方案2（TABLESAMPLE SYSTEM(1) LIMIT <n>）
  • 优势：采样效率极高，仅需读取指定比例的存储块即可，无需全表计算
  • 劣势：本质是块级采样而非行级随机采样，你的表按国家集中写入时，单个存储块内大概率都是同一国家的数据，采样结果必然会出现单国家占比过高的问题，不符合你的需求

可选性能优化方案 #

如果你想进一步降低方案1的计算开销，可以用先随机过滤再排序的写法，在不影响随机性的前提下大幅降低排序计算量：

-- 先按采样比例的1.1倍过滤掉大部分行，再排序取数
SELECT * 
FROM TABLE 
WHERE RANDOM() < (10000 / 20000000) * 1.1
ORDER BY RANDOM() 
LIMIT 10000

乘1.1的系数是为了避免随机过滤后数据量不足10000行的极端情况。

内容的提问来源于stack exchange，提问作者Anonymous