使用LEAD函数的Athena查询多次运行结果不一致求解决方案

问题根源 #

你的查询里窗口函数的ORDER BY仅用了date_time，如果存在多行数据的date_time值重复（或者date_time精度不足以唯一区分行，比如实际存储有毫秒级差异但未显示），Presto会对这些行采用非确定性排序逻辑——每次执行查询时，这些行的相对顺序可能随机变化，导致lead()获取的"下一行"值不稳定，最终结果不一致。

解决方案 #

修改窗口函数的ORDER BY子句，添加能唯一确定每行顺序的列，确保排序的绝对确定性。

方案1：使用表中现有唯一标识 #

如果表有唯一主键（比如unique_id），或多列组合可唯一区分行（比如date_time + id，若实际数据中id并非全相同），将其加入ORDER BY：

select id, session_id, date_time, web_count, 
lead(web_count) over (partition by session_id order by date_time, id) as next_web_count
from web_data

方案2：生成临时唯一排序键 #

如果没有现成的唯一列，可先用row_number()给每行生成唯一序号，再基于序号排序：

with ranked_data as (
    select id, session_id, date_time, web_count,
    row_number() over (partition by session_id order by date_time) as rn
    from web_data
)
select id, session_id, date_time, web_count,
lead(web_count) over (partition by session_id order by date_time, rn) as next_web_count
from ranked_data

原理说明 #

添加唯一排序键后，同一session_id分区内的每行数据都有了固定排序顺序，Presto每次执行查询时都会按相同顺序处理行，lead()函数就能稳定获取对应下一行的值，不会再出现结果不一致的情况。

内容的提问来源于stack exchange，提问作者vvazza