如何在Shell脚本中检测Beeline执行HQL时缺失的Hive表？

1. 调整Beeline执行命令，捕获详细日志 #

先修改Beeline执行命令，将标准输出和错误输出全部重定向到日志文件，方便后续分析执行状态：

BEELINE_CMD="beeline -u 'jdbc:hive2://server.domain.com:10000/default;principal=hive/server.domain.com@SERVER.DOMAIN.COM' -f filename.hql"
$BEELINE_CMD > beeline_exec.log 2>&1

2. 从HQL文件提取目标表列表 #

通过正则匹配HQL中所有涉及表操作的语句（如CREATE TABLE、INSERT INTO等），提取并去重得到预期操作的表名：

# 过滤注释行，提取所有操作的表名并去重
grep -v "^--" filename.hql | \
grep -E "(CREATE TABLE|INSERT INTO|INSERT OVERWRITE) [^ ]+" | \
sed -E 's/(CREATE TABLE|INSERT INTO|INSERT OVERWRITE) ([^ ]+).*/\2/' | \
sed -E 's/`//g' | sort | uniq > expected_tables.txt

注：如果HQL使用其他注释格式（如/* ... */），需额外添加过滤规则。

3. 从执行日志提取成功操作的表 #

根据Beeline的成功输出标识（如Table ... created、Loading data to table ...），提取已成功执行的表名：

# 从日志中提取成功完成操作的表名
grep -E "(Table .* created|Loading data to table .*)" beeline_exec.log | \
sed -E 's/(Table |Loading data to table )([^ ]+).*/\2/' | \
sed -E 's/`//g' | sort | uniq > success_tables.txt

注：不同版本Beeline的成功提示可能有差异，需根据实际日志内容调整正则。

4. 对比找出未成功执行的表 #

使用comm命令对比预期表和成功表的列表，定位执行失败的表：

# 筛选出预期中有但成功列表里没有的表
comm -23 expected_tables.txt success_tables.txt > failed_tables.txt

if [ -s failed_tables.txt ]; then
    echo "执行失败的表："
    cat failed_tables.txt
    # 可选：输出对应错误日志片段
    echo "--- 错误详情 ---"
    grep -B2 -A2 "Error" beeline_exec.log
    exit 1
else
    echo "所有表执行成功"
    exit 0
fi

完整Shell脚本示例 #

#!/bin/bash

# 配置参数
HQL_FILE="filename.hql"
BEELINE_URL="jdbc:hive2://server.domain.com:10000/default;principal=hive/server.domain.com@SERVER.DOMAIN.COM"
LOG_FILE="beeline_exec.log"

# 执行Beeline并记录日志
echo "开始执行HQL文件：$HQL_FILE"
beeline -u "$BEELINE_URL" -f "$HQL_FILE" > "$LOG_FILE" 2>&1

# 提取预期操作的表
echo "提取目标表列表..."
grep -v "^--" "$HQL_FILE" | \
grep -E "(CREATE TABLE|INSERT INTO|INSERT OVERWRITE) [^ ]+" | \
sed -E 's/(CREATE TABLE|INSERT INTO|INSERT OVERWRITE) ([^ ]+).*/\2/' | \
sed -E 's/`//g' | sort | uniq > expected_tables.txt

# 提取成功操作的表
echo "分析执行日志..."
grep -E "(Table .* created|Loading data to table .*)" "$LOG_FILE" | \
sed -E 's/(Table |Loading data to table )([^ ]+).*/\2/' | \
sed -E 's/`//g' | sort | uniq > success_tables.txt

# 对比定位失败表
echo "校验执行结果..."
comm -23 expected_tables.txt success_tables.txt > failed_tables.txt

if [ -s failed_tables.txt ]; then
    echo "ERROR: 以下表执行失败："
    cat failed_tables.txt
    echo "--- 错误日志片段 ---"
    grep -B2 -A2 "Error" "$LOG_FILE"
    exit 1
else
    echo "SUCCESS: 所有表执行成功"
    exit 0
fi

# 可选：清理临时文件
# rm -f expected_tables.txt success_tables.txt failed_tables.txt

注意事项 #

• 正则需根据实际HQL语句风格调整，比如表名带库名（db.table）的场景已兼容。
• 若HQL存在多行注释，需补充grep -v "^/\*"等规则过滤注释。
• Beeline日志输出因版本不同可能有差异，需根据实际成功/失败提示修改匹配正则。

内容的提问来源于stack exchange，提问作者shikha. agarwal