如何统计Hive表访问次数及解决LastAccessTime显示UNKNOWN问题

一、通过Hive日志分析统计访问次数 #

Hive Server2的运行日志默认存储在/var/log/hive/（不同集群路径可能有差异），日志中会记录所有执行的SQL语句，可通过Linux命令过滤提取表访问记录并统计次数：

# 遍历Hive日志，提取被FROM/JOIN引用的表并统计访问次数
grep -E "FROM|JOIN" /var/log/hive/hive-server2.log* | \
sed -E 's/.*(FROM|JOIN)[[:space:]]+([a-zA-Z0-9_\.]+).*/\2/' | \
sort | uniq -c | awk '{print $2 "\t" $1}' > hive_table_access_count.txt

执行后会生成hive_table_access_count.txt文件，内容格式为表名 访问次数，支持识别数据库.表名格式的表。若需忽略大小写，可在grep后加-i参数。

二、启用Hive审计日志实现精准统计 #

若需要更规范的访问记录，建议开启Hive审计日志：

1. 修改Hive配置文件hive-site.xml，添加以下配置：

<property>
  <name>hive.server2.logging.operation.enabled</name>
  <value>true</value>
</property>
<property>
  <name>hive.server2.logging.operation.log.location</name>
  <value>/var/log/hive/operation_logs</value>
</property>

2. 重启HiveServer2服务，审计日志会记录每个操作的详细表访问信息，再通过以下命令统计：

grep "TABLE_ACCESS" /var/log/hive/operation_logs/* | \
sed -E 's/.*tableName=([^,]+).*/\1/' | \
sort | uniq -c | awk '{print $2 "\t" $1}'

三、解决LastAccessTime: UNKNOWN的问题 #

你看到的UNKNOWN是因为Hive默认未开启访问时间跟踪功能：

1. 修改hive-site.xml开启跟踪：

<property>
  <name>hive.metastore.lastaccess.time.track</name>
  <value>true</value>
</property>

2. 重启HiveMetastore服务，后续的表访问会更新LastAccessTime，但此功能仅能记录最后访问时间，无法统计访问次数，统计次数仍需依赖日志或审计方案。

内容的提问来源于stack exchange，提问作者sadia