如何在同一Hive会话中将多查询结果导出至Shell脚本？

当然可以！你完全能通过单次Hive会话执行所有查询，同时把结果分别赋值给Shell变量——这样就能彻底解决多次启动会话导致的YARN资源浪费问题。下面分享几种实用的实现方式：

方法1：使用Hive脚本文件+Shell变量赋值 #

这种方式适合查询较多的场景，把所有查询写到单独的HQL脚本里，再通过Shell处理输出结果。

步骤1：编写Hive查询脚本（count_tables.hql） #

在脚本里给每个查询的结果加上变量标识，方便后续Shell识别提取：

-- 为每个查询结果添加变量名前缀，便于Shell解析
SELECT 'VAR1' AS var_label, COUNT(*) AS count FROM table1;
SELECT 'VAR2' AS var_label, COUNT(*) AS count FROM table2;
SELECT 'VAR3' AS var_label, COUNT(*) AS count FROM table3;

步骤2：在Shell中执行并提取结果 #

用hive -S -f启动静默模式（减少日志干扰），然后通过循环把结果赋值给对应变量：

# 执行Hive脚本，捕获干净的查询输出，跳过表头行
hive -S -f count_tables.hql | tail -n +2 | while read var_name count_val; do
    # 将结果赋值给Shell变量
    eval "$var_name=$count_val"
done

# 验证变量是否生效
echo "Table1 计数：$VAR1"
echo "Table2 计数：$VAR2"
echo "Table3 计数：$VAR3"

方法2：直接在Shell中嵌入多查询 #

如果查询不多，也可以直接把所有查询写在hive -e的参数里，省去单独的HQL文件：

# 一次性执行所有查询，捕获输出
query_results=$(hive -S -e "
SELECT 'VAR1', COUNT(*) FROM table1;
SELECT 'VAR2', COUNT(*) FROM table2;
SELECT 'VAR3', COUNT(*) FROM table3;
" | tail -n +2)

# 遍历结果赋值给Shell变量
while read var val; do
    eval "$var=$val"
done <<< "$query_results"

# 使用变量
echo "三个表的计数分别是：$VAR1、$VAR2、$VAR3"

注意事项 #

• -S参数是Hive的静默模式，能屏蔽大部分启动日志和进度信息，让输出只保留查询结果，方便后续处理；
• tail -n +2用于跳过Hive默认输出的表头行（比如var_label count这一行）；
• eval在这里是安全的，因为我们的查询结果都是数字，不会有特殊字符引发Shell注入风险；如果后续要处理带特殊字符的结果，建议改用更安全的变量赋值方式（比如数组存储）。

内容的提问来源于stack exchange，提问作者Djeah