Hive插入操作相关问题：插入行数查询与重复数据规避

问题1：如何在Hive表插入操作过程中查看已插入的行数？ #

这得看你是要实时监控进度，还是想拿到中间状态的数值，给你几个靠谱的办法：

• 通过任务日志或YARN UI实时追踪
  如果你是用Hive CLI或者Beeline提交的插入任务，控制台会实时输出MapReduce/Tez任务的运行日志，里面能看到诸如Map input records、Reduce output records这类计数器，这些数值就能反映已经处理（插入）的行数。要是用YARN做资源调度，登录YARN的UI找到对应任务，也能看到实时的任务计数器，直观得很。

• 临时查询表或分区（谨慎使用）
  如果你的表是分区表，且这次插入是针对特定分区的，可以开个新会话单独查这个分区的行数：

  SELECT COUNT(*) FROM your_table WHERE dt = '20240520'; -- 这里dt是你的分区字段
  

  不过要注意，任务没完成时数据可能还在临时目录，查出来的是中间值，而且频繁查询可能拖慢插入任务，适合非紧急的情况。

问题2：插入任务失败导致部分数据写入，如何规避重复插入并获取最后一次插入的行数？ #

这种情况在大数据场景里太常见了，我一般推荐幂等插入+结果验证的组合方案：

一、规避重复插入的核心方法 #

• 用唯一分区/临时表过滤重复
  要是表支持分区，每次插入都指定一个唯一的分区（比如用当前时间戳命名），就算重试也只会往同一个分区写，不会污染其他数据。如果是普通表，先把待插入数据写到临时表，再用NOT EXISTS过滤已存在的记录：

  INSERT INTO target_table
  SELECT * FROM temp_insert_data
  WHERE NOT EXISTS (
      SELECT 1 FROM target_table
      WHERE target_table.business_id = temp_insert_data.business_id -- business_id是你的业务唯一标识
  );
  

  这样只会插入目标表中没有的记录，从根源避免重复。

• 启用Hive ACID事务（适合高要求场景）
  如果你的Hive版本支持ACID（需要提前配置事务参数，表得是ORC格式且分桶），可以用MERGE语句实现幂等插入：

  MERGE INTO target_table t
  USING temp_insert_data s
  ON t.business_id = s.business_id
  WHEN NOT MATCHED THEN INSERT VALUES (s.business_id, s.col1, s.col2, ...);
  

  这个语句会自动匹配已有记录，只插入新的，非常省心。

二、获取最后一次插入的行数 #

• 直接从任务日志提取
  不管任务成功还是失败，Hive任务结束后都会在日志里输出类似Number of rows inserted: 500的统计信息。如果是脚本提交的任务，你可以把日志重定向到文件，再用命令提取：

  hive -f your_insert_script.sql | grep "Number of rows inserted"
  

• 插入后针对性查询
  如果任务成功完成，你可以根据插入的特征（比如分区、时间戳字段）查询新增的行数：

  SELECT COUNT(*) FROM target_table WHERE insert_timestamp >= '2024-05-20 14:30:00';
  

  要是用了临时表插入，直接查临时表的行数也可以，因为临时表里的都是最终被插入的非重复数据。

内容的提问来源于stack exchange，提问作者Richard A