如何在Hive中仅插入更新记录？多表插入的时间过滤实现

首先，我们需要先拿到t2表中最新的ttime值，再筛选t1里比这个时间更新的记录，最后把这些符合条件的数据插入到t2和t3中。这里给你两种实现方式，适配不同的Hive版本：

方式一：用WITH子句（推荐，代码更清晰） #

适合支持CTE（Common Table Expressions）的较新版本Hive：

with latest_t2_time as (
    -- 单独获取t2的最新时间戳
    select max(ttime) as max_ttime from t2
)
from (
    select *, concat(column1, '|', column2) as id 
    from t1, latest_t2_time
    where column1 = "value1" 
      -- 核心过滤条件：只取t1中比t2最新数据更新的记录
      and t1.ttime > latest_t2_time.max_ttime
) t
-- 注意：插入t2时要带上ttime列，否则后续max(ttime)会失效
insert into table t2 select column3, id, t.ttime
insert into table t3 select column4, id, t.ttime

方式二：子查询直接嵌入（适配旧版Hive） #

如果你的Hive版本不支持WITH子句，可以直接把获取最大时间的逻辑写在过滤条件里：

from (
    select *, concat(column1, '|', column2) as id 
    from t1
    where column1 = "value1" 
      and t1.ttime > (select max(ttime) from t2)
) t
insert into table t2 select column3, id, t.ttime
insert into table t3 select column4, id, t.ttime

关键注意点 #

• 必须插入ttime列到t2：如果插入t2时不包含ttime，t2的该列会一直是null，后续max(ttime)永远返回null，导致每次都会插入所有t1数据，完全失去增量更新的意义。
• 处理t2为空的场景：如果t2是空表，max(ttime)会返回null，此时t1.ttime > null的判断结果是false，不会插入任何数据。如果希望t2为空时插入所有符合column1="value1"的t1数据，可以调整过滤条件：

  t1.ttime > coalesce((select max(ttime) from t2), '1970-01-01 00:00:00')
  

  用coalesce把null替换成一个极早的时间戳，这样空表时所有符合条件的t1数据都会被插入。

内容的提问来源于stack exchange，提问作者bea