如何自动化每日列出Hive外部表并统计记录数？

我完全懂你的困扰——硬编码表名根本赶不上每月的表变动，show tables又没法区分内外表，查元数据库要么没权限要么环境受限。这里给你一套靠谱的自动化方案，完美解决这个问题：

第一步：精准获取所有外部表 #

要批量处理，首先得准确筛选出所有外部表，这里提供两种适配不同权限场景的方法：

场景1：有权限访问Hive元数据库（如MySQL/PostgreSQL） #

直接查元数据是最高效的方式，Hive的元数据里TBLS表的TBL_TYPE字段直接标记了表类型，外部表对应EXTERNAL_TABLE。以MySQL为例，执行以下SQL：

SELECT CONCAT(d.NAME, '.', t.TBL_NAME) AS full_table_name
FROM DBS d
JOIN TBLS t ON d.DB_ID = t.DB_ID
WHERE t.TBL_TYPE = 'EXTERNAL_TABLE'
-- 可选：加上 AND d.NAME = 'your_target_db' 过滤特定数据库

把查询结果导出为文本文件，后续脚本直接用。

场景2：无元数据库权限，用Hive CLI/Beeline查询 #

通过Hive的information_schema视图也能拿到表类型信息，写个Hive脚本get_external_tables.hql：

SET hive.cli.print.header=false;
SELECT CONCAT(table_schema, '.', table_name)
FROM information_schema.tables
WHERE table_type = 'EXTERNAL TABLE'
-- 可选：加上 AND table_schema = 'your_target_db'

然后用beeline执行导出：

beeline -u "jdbc:hive2://your_hive_server:10000/default" -n your_user -p your_pass -f get_external_tables.hql > external_tables.txt

第二步：批量统计各表记录数 #

拿到表名列表后，推荐用动态SQL批量执行，比循环单表查询效率高很多：

高效批量统计方案（单Hive会话完成） #

先生成包含所有count语句的HQL脚本：

SET hive.cli.print.header=false;
SELECT 'SELECT ''' || full_table_name || ''' AS table_name, COUNT(*) AS record_count FROM ' || full_table_name || ' UNION ALL'
FROM (
    SELECT CONCAT(table_schema, '.', table_name) AS full_table_name
    FROM information_schema.tables
    WHERE table_type = 'EXTERNAL TABLE'
) t;

把这个查询的结果导出，手动去掉最后一行的UNION ALL，保存为batch_count.hql，然后执行：

beeline -u "jdbc:hive2://your_hive_server:10000/default" -n your_user -p your_pass -f batch_count.hql > hive_table_counts.csv

这样一次Hive会话就能完成所有表的统计，避免多次连接开销。

简易循环脚本（适合表量少的场景） #

如果表不多，用shell循环更简单，写个count_tables.sh：

#!/bin/bash

# 先获取外部表列表
beeline -u "jdbc:hive2://your_hive_server:10000/default" -n your_user -p your_pass -e "SET hive.cli.print.header=false; SELECT CONCAT(table_schema, '.', table_name) FROM information_schema.tables WHERE table_type='EXTERNAL TABLE'" > external_tables.txt

# 初始化结果文件
echo "表名,记录数" > hive_external_counts.csv

# 循环统计
while read table; do
  if [ -n "$table" ]; then
    # 过滤Hive的日志信息，只取count结果
    count=$(beeline -u "jdbc:hive2://your_hive_server:10000/default" -n your_user -p your_pass -e "SELECT COUNT(*) FROM $table" 2>/dev/null | grep -v -E "(WARN|INFO|Connected|Closing)" | tail -n1)
    echo "$table,$count" >> hive_external_counts.csv
  fi
done < external_tables.txt

# 清理临时文件
rm external_tables.txt

第三步：配置每日自动化任务 #

用Linux的crontab实现每日定时执行：

1. 编辑crontab任务：

crontab -e

2. 添加一行（比如每天凌晨2点执行，日志输出到指定目录）：

0 2 * * * /path/to/count_tables.sh >> /var/log/hive_table_count.log 2>&1

3. 保存退出，crontab会自动生效。

额外优化点 #

• 如果你的集群用Kerberos认证，执行beeline前需要先获取Kerberos票据：

kinit -kt /path/to/your.keytab your_principal@YOUR_REALM

• 对于超大规模的表，可以用APPROX_COUNT_DISTINCT或者抽样统计来提升速度（如果不需要精确值）：

SELECT APPROX_COUNT_DISTINCT(*) FROM your_table;

内容的提问来源于stack exchange，提问作者ibh