如何在嵌套分区表的静态分区中添加动态分区？

问题分析 #

你的表是两层嵌套分区结构（一级country，二级run_date），需要为指定country静态绑定独立路径，同时自动识别路径下的run_date二级分区。你之前尝试的ALTER TABLE语句不支持这种混合模式，下面提供两种可行方案：

方案一：静态创建一级分区+动态导入二级分区 #

1. 绑定一级分区路径
   手动将country分区与对应路径关联，执行以下SQL（替换占位符）：

   ALTER TABLE <table_name> ADD PARTITION (country='country1') LOCATION '<hdfs-path-to-country1>';
   ALTER TABLE <table_name> ADD PARTITION (country='country2') LOCATION '<hdfs-path-to-country2>';
   

2. 开启动态分区配置
   若未开启动态分区，先执行以下设置：

   SET hive.exec.dynamic.partition=true;
   SET hive.exec.dynamic.partition.mode=nonstrict;
   

3. 动态加载二级分区
   通过INSERT语句导入数据，自动识别并创建run_date分区：

   INSERT OVERWRITE TABLE <table_name> PARTITION(country='country1', run_date)
   SELECT col1, col2, ..., run_date
   FROM <source_table_or_hdfs_path>
   WHERE country='country1';
   

   若直接从HDFS路径读取数据，可将<source_table_or_hdfs_path>替换为'<hdfs-path-to-country1>'（需Hive版本支持直接路径查询）。

方案二：静态创建一级分区+MSCK自动识别二级分区 #

如果country路径下已经存在run_date=xxx格式的子目录，可使用MSCK命令自动同步分区元数据：

1. 先执行方案一的第一步，完成country分区的路径绑定。
2. 执行同步命令：

   MSCK REPAIR TABLE <table_name>;
   

   该命令会扫描表指定路径下的所有符合分区格式的子目录，自动将run_date子目录添加为二级分区。

注意事项 #

• 确保HDFS路径结构严格遵循Hive分区格式：.../country=country1/run_date=2024-05-20/，否则无法被正确识别。
• nonstrict动态分区模式允许仅指定部分分区键（这里固定country，动态生成run_date），strict模式要求所有分区键都为动态。

内容的提问来源于stack exchange，提问作者user2828360