Hive SQL排序查询：基于上一行数据的字段赋值逻辑实现

首先得说，你写的语句存在两个关键问题，没法正确实现你的需求：

• 条件逻辑错误：你用lag(my_date) OVER (...)直接作为CASE WHEN的判断条件，但这个函数返回的是日期值，不是布尔类型，Hive会直接报错，因为WHEN后面必须是布尔表达式。
• 窗口范围不对：你加了PARTITION BY id，这会把相同id的记录分成单独的窗口，导致lag(id)永远和当前id相等，根本没法判断“上一行id与当前id不相等”的情况。

正确的实现思路 #

你的核心需求是：当当前记录是新id组的第一条（上一行id和当前id不同，包括整个结果集的第一条记录），并且当前first_time为空时，用my_date填充目标字段；否则直接用first_time。

对应的Hive查询语句应该是这样的：

SELECT 
    id,
    number,
    my_date,
    first_time,
    -- 核心逻辑：判断是否是新id组的第一条，且first_time为空
    CASE 
        WHEN (lag(id) OVER (ORDER BY id ASC, number ASC) IS NULL 
              OR lag(id) OVER (ORDER BY id ASC, number ASC) != id) 
             AND first_time IS NULL 
            THEN my_date 
        ELSE first_time 
    END AS target_field
FROM mytable
-- 保持你要求的排序规则
ORDER BY id ASC, number ASC;

关键细节解释 #

1. 去掉PARTITION BY id：因为我们需要跨id组查看上一行的记录，PARTITION会把相同id的记录隔离，无法实现跨组判断。
2. lag(id)的判断：
   • 当是整个结果集的第一条记录时，lag(id)返回NULL，这时候也属于“新id组开始”的情况；
   • 当是新id组的第一条记录时，lag(id)会返回上一个id组的id，和当前id不相等；
3. 组合条件：只有同时满足“新id组第一条”和“first_time为空”两个条件时，才用my_date填充，否则保留原first_time的值。

内容的提问来源于stack exchange，提问作者jumpman8947