Impala中随机数排序失效问题求助

其实你的ORDER BY逻辑本身没毛病，问题出在你给rand()函数传入的种子参数是一个查询级别的常量，导致每次生成的随机值序列完全固定，自然排序结果也不会变化。

具体原因拆解： #

• unix_timestamp(now())这个表达式在Impala执行查询时，只会被计算一次——在查询启动的瞬间获取当前时间戳，之后整个查询的所有行都会复用这个固定值作为rand()的种子。
• 当rand()使用固定种子时，它会生成一个可重复的固定随机序列。你的子查询固定返回4行数据，所以每次运行查询，这4行对应的ord值都是完全一样的，排序结果自然固定成3、4、1、2。
• 至于你看到的ord列数值看起来无序，这是rand(固定种子)生成的序列本身的随机性，但因为种子固定，这个序列每次都一模一样，所以最终的行排序也固定不变。

修复方案 #

要实现真正的随机排序，你需要让rand()的种子每次查询都不同，或者直接使用无参数的rand()（Impala中无参数的rand()会自动调用系统随机源，每次生成不同的序列）：

方案1：使用无参数的rand()（最简单）

select id, rand() as ord 
from ( select 1 as id union select 2 union select 3 union select 4 ) x 
order by ord

方案2：结合行唯一值生成动态种子

如果你需要基于每行唯一的逻辑生成随机值，也可以用每行的id结合当前时间戳作为种子，确保每次查询和每行的种子都不同：

select id, rand(unix_timestamp(now()) + id) as ord 
from ( select 1 as id union select 2 union select 3 union select 4 ) x 
order by ord

这样修改后，每次运行查询都会得到不同的随机排序结果。

内容的提问来源于stack exchange，提问作者Patrick Szalapski