Bash循环插入Hive表遇问题：VALUES语法是否失效及代码排查

需求说明 #

需要将备份表HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3_backup的数据重复加载10次到源表HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3，同时确保idp_row_id字段不重复，每次加载时该ID自增+1。

原代码的核心问题 #

你的代码并非是VALUES语法在Bash环境失效，而是存在多处逻辑和语法错误：

• 循环逻辑错误：Bash无法直接执行SELECT语句，必须通过hive -e调用Hive执行查询；且即使执行成功，查询结果会被拆分为单个字段值传入循环变量i，无法获取整行数据。
• 字段顺序不匹配：INSERT的字段列表未包含idp_row_id，但VALUES子句第一个值是自增的ID，导致字段数量不匹配，插入失败。
• 变量引用无效：Hive语句中的i.npsid写法完全错误，Bash循环变量i无法作为行对象被Hive识别。
• 缺少10次重复加载逻辑：原代码仅尝试遍历备份表行插入一次，没有实现循环10次的需求。
• 引号转义问题：单引号包裹的Hive语句中，Bash变量$mx不会被解析，导致ID无法正确传入。

修复后的代码示例 #

采用INSERT ... SELECT语法在Hive内部处理自增逻辑，避免Bash逐行处理的低效和错误，同时实现10次重复加载：

# 获取源表当前最大idp_row_id，为空时默认0
max_id=$(hive -e "select coalesce(max(idp_row_id), 0) from HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3")

# 获取备份表的总行数，用于计算每次加载的ID偏移
backup_count=$(hive -e "select count(*) from HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3_backup")

# 循环10次加载数据
for ((loop=0; loop<10; loop++)); do
    # 计算本次加载的起始ID
    current_start_id=$((max_id + loop * backup_count + 1))

    # 调用Hive执行插入，用row_number生成自增ID
    hive -e "
    INSERT INTO HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3
    (idp_row_id, npsid, npsinstanceid, logentryid, clientip, sessionusername, time, failuretype, failure, tzoffset, idp_delete_flag, idp_batch_ts)
    SELECT 
        row_number() over () + $current_start_id - 1 as idp_row_id,
        npsid,
        npsinstanceid,
        logentryid,
        clientip,
        sessionusername,
        time,
        failuretype,
        failure,
        tzoffset,
        idp_delete_flag,
        idp_batch_ts
    FROM HISTDB_V3_NZ_HISTUSR._hist_failed_authentication_3_backup;
    "
done

修复要点说明 #

• 用coalesce处理源表为空的情况，避免max(idp_row_id)返回null导致数值运算错误。
• 提前获取备份表行数，计算每次加载的ID起始值，确保10次加载的ID完全不重复。
• 使用INSERT ... SELECT替代逐行INSERT VALUES，大幅提升执行效率，同时避免Bash处理行数据的复杂度。
• 在Hive内部通过row_number()生成自增ID，结合起始偏移量，保证ID的唯一性。

内容的提问来源于stack exchange，提问作者Jellyfish