如何手动向Hive Metastore表中添加分区明细？

• 所有操作前必须完整备份Hive Metastore对应的MySQL数据库，避免误操作导致元数据损坏
• 建议先在测试环境验证所有操作逻辑，再在生产环境执行
• 基础表的元数据（表结构、分区字段定义等）建议通过标准CREATE EXTERNAL TABLE语句创建，无需手动插入元数据表，避免出错

首先你需要先通过Spark/Hive执行标准建表语句，创建空的外部表，仅需几秒即可完成，示例语句如下：

CREATE EXTERNAL TABLE IF NOT EXISTS my_table (
  -- 这里填写实际的字段列表和类型
  col1 string,
  col2 int
)
PARTITIONED BY (date string, event_id string)
STORED AS PARQUET
LOCATION '/path/to/root/';

建表完成后，先获取几个必要的基础ID，在Metastore的MySQL库中执行以下查询：

-- 获取库ID
SELECT DB_ID FROM DBS WHERE NAME = '你的数据库名';
-- 获取表ID和对应的存储模板ID、列定义ID
SELECT TBL_ID, SD_ID, CD_ID FROM TBLS t JOIN SDS s ON t.SD_ID = s.SD_ID WHERE TBL_NAME = 'my_table' AND DB_ID = 上面查到的库ID;

分区元数据涉及4张核心表，每张表的插入逻辑如下：

• SDS：存储每个分区的存储配置，每个分区对应1条记录，除了LOCATION字段，其余字段和你之前查到的表级SDS记录完全一致即可
• PARTITIONS：存储分区基础信息，关联表ID和对应SDS记录的ID
• PARTITION_KEY_VALS：存储分区字段的值，你的场景有2个分区字段，每个分区对应2条记录，INTEGER_IDX字段分别填0（对应date）和1（对应event_id）
• PARTITION_PARAMS：存储分区的额外参数，一般仅需插入transient_lastDdlTime参数，值为当前Unix时间戳即可

你可以把所有分区的date、event_id、分区路径整理成列表，批量生成插入SQL，单次提交1000_{5000条，140万分区仅需3}5分钟即可完成全部插入。

• 新增分区：按上述插入逻辑批量提交即可，比标准ALTER TABLE ADD PARTITION效率高100倍以上
• 更新分区路径：直接关联PARTITIONS和SDS表更新LOCATION字段即可，示例：

UPDATE SDS s 
INNER JOIN PARTITIONS p ON s.SD_ID = p.SD_ID 
SET s.LOCATION = '新的HDFS路径' 
WHERE p.TBL_ID = 你的表ID 
AND p.PART_ID IN (要更新的分区ID列表);

• 删除分区：关联删除4张表的对应记录即可，注意不要留脏数据

如果你不想手动操作元数据表，也可以直接调整Spark参数解决之前的慢问题：

spark.sql.hive.verifyPartitionPath=false  -- 关闭分区路径校验
spark.sql.addPartitionInBatch.size=2000   -- 调大单次添加分区的批次大小

调整后再执行批量ADD PARTITION语句，效率会提升数十倍。

你可以直接在自己的Metastore MySQL库中执行SHOW CREATE TABLE 表名查看每张表的字段注释，Hive官方对元数据表的字段注释非常完整，每个字段的含义都有明确说明，完全可以满足学习和使用需求。

内容的提问来源于stack exchange，提问作者That Guy