Hive如何批量获取表中所有数值型列的聚合统计信息？

嘿，这个需求太戳痛点了——对着几十列手动写聚合语句绝对是体力活！下面给你两种实用思路，完美匹配你的需求：

方案一：自动生成动态SQL，直接输出你要的行式统计结果 #

Hive的元数据存在information_schema里，我们可以先自动捞取所有数值型列，再拼接成符合你要求的聚合SQL：

步骤1：生成目标SQL #

执行下面的查询（记得替换your_database_name和your_table_name，同时根据你表的实际数值类型调整data_type范围）：

SELECT concat_ws(' UNION ALL ', collect_list(
    concat(
        'SELECT \'', column_name, '\' as column_name, ',
        'min(', column_name, ') as min, ',
        'avg(', column_name, ') as avg, ',
        'max(', column_name, ') as max, ',
        'sum(', column_name, ') as sum ',
        'FROM your_database_name.your_table_name'
    )
)) AS dynamic_sql
FROM information_schema.columns
WHERE table_schema = 'your_database_name' 
  AND table_name = 'your_table_name' 
  AND data_type IN ('int', 'bigint', 'float', 'double', 'decimal'); -- 按需添加/删除数值类型

步骤2：执行生成的SQL #

把查询返回的dynamic_sql内容复制出来直接执行，就能得到和你示例完全一致的输出：

column_name min avg max sum
a 1 5 9 15
b 2 6 10 18
c 3 7 11 21
d 4 8 12 24

方案二：逐个获取聚合指标（适合分批处理或调试） #

如果不需要一次性输出所有统计，想逐个列查看指标，可以用脚本自动化循环：

Bash脚本示例 #

# 替换为你的库和表名
DB_NAME="your_database_name"
TABLE_NAME="your_table_name"

# 获取所有数值型列
COLUMNS=$(hive -e "SELECT column_name FROM information_schema.columns WHERE table_schema='$DB_NAME' AND table_name='$TABLE_NAME' AND data_type IN ('int','bigint','float','double','decimal')")

# 循环遍历每个列，输出聚合结果
for COL in $COLUMNS; do
    echo "===== 列 $COL 的聚合统计 ====="
    hive -e "SELECT 'min' as metric, min($COL) as value FROM $DB_NAME.$TABLE_NAME
             UNION ALL
             SELECT 'avg' as metric, avg($COL) as value FROM $DB_NAME.$TABLE_NAME
             UNION ALL
             SELECT 'max' as metric, max($COL) as value FROM $DB_NAME.$TABLE_NAME
             UNION ALL
             SELECT 'sum' as metric, sum($COL) as value FROM $DB_NAME.$TABLE_NAME"
done

小提醒 #

• 确保你有information_schema的查询权限，部分Hive集群可能需要管理员开启该元数据的访问权限；
• 如果是分区表，可以在生成的SQL末尾加WHERE partition_col = 'xxx'缩小统计范围，提升性能；
• 数值类型列表要和你表的实际情况匹配，比如有tinyint的话也要加进去。

内容的提问来源于stack exchange，提问作者OanaB