如何从Hive获取最新记录？含员工表最新位置查询场景

要从Hive里捞最新记录，核心其实就是靠时间戳、更新标识这类字段排序后取顶部数据，具体分几种常见场景：

• 要是你表里头有update_time或者create_time这类明确的时间字段：
  直接用ORDER BY按时间倒序排，再用LIMIT拿第一条（或者前N条）就行，举个例子：

  SELECT *
  FROM your_table
  ORDER BY update_time DESC
  LIMIT 1;
  

  要是得按分组取每个组的最新记录（比如每个员工的最新打卡记录），那就用窗口函数ROW_NUMBER()来做，示例如下：

  SELECT id, name, update_time, content
  FROM (
      SELECT *,
             ROW_NUMBER() OVER (PARTITION BY id ORDER BY update_time DESC) AS rn
      FROM your_table
  ) t
  WHERE rn = 1;
  

• 要是没专门的时间字段，但数据是按分区存的（比如按日期分区）：
  直接查最新的分区就行，这比全表排序效率高多了，比如：

  SELECT *
  FROM your_table
  WHERE dt = '2024-05-20'; -- 换成你实际的最新分区值
  

这种情况其实就是同个员工的数据有多个版本存在，要拿到最新的位置，关键还是得有能区分版本先后的字段（比如更新时间戳、版本号），给你两种方案：

方案1：依赖表内的更新时间字段（推荐） #

假设你的员工表employee有emp_name（员工姓名）、location（位置）、update_time（每次改位置时都会更新的时间戳），那用窗口函数就能轻松筛选每个员工的最新记录：

SELECT emp_name, location
FROM (
    SELECT emp_name, location,
           ROW_NUMBER() OVER (PARTITION BY emp_name ORDER BY update_time DESC) AS rn
    FROM employee
) t
WHERE rn = 1;

这个方法最靠谱，因为时间戳是存在表数据里的，不会受文件操作影响。

方案2：依赖ORC文件的修改时间（不推荐，仅应急用） #

要是你表里头没存更新时间，实在没办法的话，可以借助Hive的内置函数拿文件的修改时间来判断，但这个方法风险很高（比如文件被复制、移动后修改时间会变），示例代码：

SELECT emp_name, location
FROM (
    SELECT emp_name, location,
           ROW_NUMBER() OVER (PARTITION BY emp_name ORDER BY file_modification_time(input_file_name()) DESC) AS rn
    FROM employee
) t
WHERE rn = 1;

划重点：尽量不要用方案2，最好是给表加个update_time字段，每次更新员工位置的时候同步更新这个字段，这样后续查最新数据既准确又高效。

内容的提问来源于stack exchange，提问作者Pranav