如何在Hive中获取指定Schema下各表的行数统计

方法一：直接查询Hive元数据（最快，无需全表扫描） #

Hive的元数据存储在Metastore数据库（通常为MySQL/PostgreSQL）中，直接查询元数据表能快速获取行数，前提是你的表已通过ANALYZE TABLE收集过统计信息。

1. 先获取目标Schema的数据库ID：

SELECT db_id FROM DBS WHERE NAME = '<你的Schema名称>';

2. 查询该Schema下所有非分区表的表名与行数：

SELECT 
  t.TBL_NAME AS table_name,
  tp.PARAM_VALUE AS row_count
FROM TBLS t
JOIN TABLE_PARAMS tp ON t.TBL_ID = tp.TBL_ID
WHERE t.DB_ID = <上述查询得到的db_id>
  AND tp.PARAM_KEY = 'numRows'
  AND t.TBL_TYPE = 'MANAGED_TABLE'; -- 若为外部表，替换为EXTERNAL_TABLE

3. 若存在分区表，需累加各分区行数：

SELECT 
  t.TBL_NAME AS table_name,
  SUM(CAST(pp.PARAM_VALUE AS BIGINT)) AS total_row_count
FROM TBLS t
JOIN PARTITIONS p ON t.TBL_ID = p.TBL_ID
JOIN PARTITION_PARAMS pp ON p.PART_ID = pp.PART_ID
WHERE t.DB_ID = <上述查询得到的db_id>
  AND pp.PARAM_KEY = 'numRows'
  AND t.TBL_TYPE = 'MANAGED_TABLE' -- 外部表替换为EXTERNAL_TABLE
GROUP BY t.TBL_NAME;

若未收集过统计信息，可先生成批量分析语句执行：

SELECT CONCAT('ANALYZE TABLE ', '<你的Schema名称>', '.', TBL_NAME, ' COMPUTE STATISTICS;')
FROM TBLS WHERE DB_ID = <db_id>;

方法二：用脚本批量生成Count查询语句 #

如果不想操作元数据，可自动生成UNION ALL查询语句，避免手动逐个编写：

1. 在Dbeaver中执行SHOW TABLES IN <你的Schema名称>;，将结果导出为文本文件（如tables.txt），每行对应一个表名。
2. 用Shell脚本生成完整查询语句：

#!/bin/bash
SCHEMA="<你的Schema名称>"
echo "SELECT '${SCHEMA}.' || table_name AS full_table_name, row_count FROM ("
while read table; do
  echo "SELECT '${table}' AS table_name, COUNT(*) AS row_count FROM ${SCHEMA}.${table}"
  total_lines=$(wc -l < tables.txt)
  current_line=$(grep -n "^${table}$" tables.txt | cut -d: -f1)
  if [ "$current_line" -ne "$total_lines" ]; then
    echo "UNION ALL"
  fi
done < tables.txt
echo ") t;"

运行脚本后复制生成的语句到Dbeaver执行即可。

方法三：利用Dbeaver自带的表统计功能 #

若表已有统计信息，可直接通过Dbeaver查看导出：

• 连接Hive后展开目标Schema，选中所有表
• 右键选择Properties，在弹出窗口切换到Statistics标签，即可查看每张表的行数
• 点击窗口中的Export按钮，可将统计数据导出为CSV/Excel文件

内容的提问来源于stack exchange，提问作者kiruba