查看Hive/Impala元数据存储文件的方法及增量统计报错解决方案

存储位置 #

• Hive 关联表数据的元数据统一存储在独立的关系型元数据库（常见为MySQL、PostgreSQL）中，主要分两层存储：
  • 分区/表的根路径信息：存储在DBS（数据库表）、TBLS（基础表信息）、PARTITIONS（分区信息）、SDS（存储描述符）核心元数据表中，每个分区条目会绑定一个固定的HDFS根路径
  • 文件级别的关联信息：仅当表开启ACID事务、或留存历史统计快照时，才会逐文件记录路径，这类信息存储在PARTITION_PARAMS、TABLE_PARAMS参数表，以及ACID事务相关的元数据表中；非事务表默认不会逐文件持久化关联关系，通常是查询时动态扫描根路径下的实际文件
• Impala 自身的元数据由catalogd服务统一管理，除了同步Hive侧的元数据外，会额外把每个分区下的文件清单、文件大小、修改时间等信息持久化在本地缓存快照中，存储路径默认为/var/lib/impala/catalog/目录下，这部分缓存是触发增量统计时直接读取的文件来源。

关联文件查看方法 #

• Hive 环境：执行命令DESCRIBE FORMATTED <表名> PARTITION(<分区列>='<分区值>')，可直接输出该分区在元数据库中登记的根路径；针对ACID事务表，可执行配套的文件清单查询命令，导出所有元数据登记的关联文件路径
• Impala 环境：执行命令SHOW FILES IN <表名> PARTITION(<分区列>='<分区值>')，可直接输出当前catalogd缓存中，与该分区绑定的所有HDFS文件列表，这也就是增量统计操作报文件不存在时的直接读取来源。

此前执行的全表级refresh <table>、invalidate metadata <table>操作，通常仅清空整体的元数据缓存索引，不会触发单分区下的文件列表全量重建，因此残留的失效文件指针仍会留存，可按以下优先级处理：

• 第一步：精准定位失效元数据条目
  通过上述的文件查看命令，定位报错中提到的不存在文件对应的分区元数据，确认该分区下的文件列表中除了报错的失效文件外，其余文件均为HDFS实际存在的有效文件。
• 分区粒度强制重建元数据关联
  对目标分区执行分区级的强制刷新：REFRESH <表名> PARTITION(<分区列>='<分区值>')，该操作会触发catalogd重新扫描对应HDFS根路径下的所有实际文件，覆盖之前缓存的残留文件指针。
• 重挂载分区清除残留参数
  如果分区级刷新无效，可执行以下操作清除旧的残留元数据：
  • 先执行ALTER TABLE <表名> DROP IF EXISTS PARTITION(<分区列>='<分区值>')删除该分区的所有元数据记录
  • 再执行ALTER TABLE <表名> ADD PARTITION(<分区列>='<分区值>') LOCATION '<该分区实际的HDFS根路径>'，重新把实际存在的HDFS路径关联到表的元数据中
• 全量统计覆盖旧的增量快照
  因为报错发生在增量统计场景，旧的增量统计快照中残留了失效文件的指针，可直接对目标分区执行全量统计操作：COMPUTE STATS <表名> PARTITION(<分区列>='<分区值>')，该操作会重新扫描HDFS实际存在的文件，生成全新的统计信息，直接覆盖带失效指针的旧快照。
• 兜底缓存清理
  如果上述操作仍无效，可重启对应节点的catalogd服务，强制让catalogd在启动时全量拉取该表所有分区的HDFS实际文件列表，替换本地缓存中持久化的残留失效文件指针。
  同时可检查对应HDFS分区目录下是否存在损坏的软链接、Trash残留的旧inode引用，清理掉这类无效链接后再触发元数据同步。

内容的提问来源于stack exchange，提问作者Selnay