Hive 2.3.0分区功能失效求助：同操作在Hive 1.x可正常运行

兄弟，我之前在Hive 2.x+版本也碰到过一模一样的问题！明明在1.x里跑的好好的分区逻辑，升级后就失效了，大概率是新版本的默认配置和表定义规则变了，咱们一步步来排查解决：

1. 先搞定动态分区的核心配置 #

Hive 1.x里动态分区默认是全开且宽松模式，但新版本为了安全，默认把动态分区模式改成了strict（严格模式），这会导致全动态分区插入直接失败。咱们先把这几个参数设置好，建议在会话开头就执行：

SET hive.exec.dynamic.partition = true; -- 开启动态分区
SET hive.exec.dynamic.partition.mode = nonstrict; -- 改成宽松模式，允许全动态分区
SET hive.exec.max.dynamic.partitions.pernode = 1000; -- 按需调整，默认值可能偏小不够用

划重点：如果你的插入语句是全动态分区（没有指定任何静态分区值），strict模式下直接会报错，必须改成nonstrict！

2. 检查表的分区定义是否规范 #

很多人习惯先建普通表，再手动加分区属性，但新版本Hive更推荐直接在创建表时就用PARTITIONED BY定义分区，这样能避免元数据不兼容的问题。给你举个正确的例子：

-- 直接创建分区表（推荐写法）
CREATE TABLE my_table (
  id INT,
  name STRING
)
PARTITIONED BY (dt STRING) -- 这里直接定义分区字段
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

如果是已经建好的表，添加分区时要确保路径和元数据同步：

ALTER TABLE my_table ADD PARTITION (dt='20240520') LOCATION '/user/hive/warehouse/my_table/dt=20240520';

3. 检查插入语句的写法是否正确 #

动态分区插入的字段顺序很重要！分区字段必须放在SELECT语句的最后，而且不能手动赋值（全动态的话）。举个正反例子：
❌ 错误写法（容易导致分区失效）：

INSERT INTO my_table PARTITION (dt) SELECT id, '20240520', name FROM source_table;

✅ 正确写法：

-- 动态分区：从源表取分区值
INSERT INTO my_table PARTITION (dt) SELECT id, name, dt FROM source_table;
-- 静态分区：指定固定分区值，支持自动创建分区（前提是开了动态分区）
INSERT INTO my_table PARTITION (dt='20240520') SELECT id, name FROM source_table;

4. 修复分区元数据同步问题 #

有时候分区“不工作”并不是功能失效，而是Hive元数据和HDFS上的分区目录不同步。执行这个命令就能修复：

MSCK REPAIR TABLE my_table;

这个命令会扫描HDFS上的表目录，把缺失的分区元数据同步到Hive里，很多时候跑一下就好了。

5. 排查权限问题 #

新版本Hive的权限控制更严格，如果你插入数据时没有分区目录的写入权限，也会表现为分区“不工作”。可以先手动在HDFS上创建对应的分区目录，然后执行MSCK REPAIR，再插入数据试试，如果成功，那就是权限问题，找管理员给你开对应的HDFS写入权限就行。

内容的提问来源于stack exchange，提问作者Juned Ansari