Hive中如何创建嵌套分区？将城市分区置于国家分区内

Hive里的"嵌套分区"本质就是多级分区，只要在创建表时指定分区字段的顺序（先Country，再City），Hive就会自动生成你需要的Country目录下嵌套City目录的存储结构。以下是具体实现步骤：

1. 创建带多级分区的目标表 #

将原表中的Country和City字段设置为分区字段（分区字段不会存储在数据文件中，仅作为目录层级），保留其他业务字段：

CREATE TABLE IF NOT EXISTS temperature_data_partitioned (
    date STRING,
    AverageTemperature DOUBLE,
    Longitude STRING,
    Latitude STRING
)
PARTITIONED BY (Country STRING, City STRING) -- 分区顺序：Country在前，City在后，决定嵌套层级
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

提示：如果原表是外部表，目标表也需要加EXTERNAL关键字并指定LOCATION路径。

2. 开启Hive动态分区 #

手动逐个创建分区效率极低，开启动态分区后Hive会自动根据数据中的Country和City值生成对应分区：

-- 开启动态分区
SET hive.exec.dynamic.partition = true;
-- 非严格模式：允许所有分区字段都是动态的（无需指定静态分区）
SET hive.exec.dynamic.partition.mode = nonstrict;
-- 单节点允许创建的最大动态分区数（根据实际数据量调整，避免触发限制）
SET hive.exec.max.dynamic.partitions.pernode = 1000;

3. 从原表迁移数据到分区表 #

使用INSERT OVERWRITE将原表数据插入分区表，Hive会自动构建嵌套分区目录：

INSERT OVERWRITE TABLE temperature_data_partitioned
PARTITION (Country, City)
-- 注意字段顺序：先选业务字段，最后按分区顺序选Country、City
SELECT date, AverageTemperature, Longitude, Latitude, Country, City
FROM temperature_data; -- 替换为你的原表名称

4. 验证分区结构 #

查看Hive分区列表 #

执行以下命令查看已创建的分区：

SHOW PARTITIONS temperature_data_partitioned;

输出示例：

Country=Country-J/City=City-A
Country=Country-J/City=City-B
Country=Country-K/City=City-A
Country=Country-K/City=City-B

查看HDFS目录结构 #

通过HDFS命令直接查看存储结构，确认是否符合预期：

hdfs dfs -ls /user/hive/warehouse/your_database.db/temperature_data_partitioned/

输出会显示Country-J、Country-K目录，进入每个Country目录后能看到对应的City-A、City-B子目录。

注意事项 #

• 确保原表中Country和City字段没有特殊字符（如/、空格、:等），否则会导致目录创建失败，必要时先清洗数据。
• 如果数据量极大，需适当调大动态分区的相关参数（如hive.exec.max.dynamic.partitions），避免因分区数过多触发Hive限制。
• 若原表存在脏数据（如Country或City为空），建议先过滤，避免生成无效分区。

内容的提问来源于stack exchange，提问作者Anurag