Hive分区表执行Insert Overwrite未删除数据是否为预期行为？

这确实是Hive分区表的预期行为，核心原因是Hive动态分区模式下的INSERT OVERWRITE只会处理查询结果中实际包含的分区，具体拆解你的两次操作：

关键规则回顾 #

当使用动态分区语法INSERT OVERWRITE TABLE ... PARTITION(partition_col)时：

• Hive仅会覆盖那些在查询输出里存在的分区的数据；
• 如果某个分区完全没有出现在查询结果中（即该分区下没有符合条件的行），Hive不会对这个分区做任何操作——既不会覆盖，也不会删除它的现有数据。

你的两次操作分析 #

1. 第一次操作：insert overwrite table cities_red partition (state) select * from cities_red where city !='NOIDA'; #

原数据中NOIDA属于UP分区，且该分区下所有行都是NOIDA。当你用city !='NOIDA'过滤后，查询结果里完全没有UP分区的行。

根据规则，Hive不会对UP分区执行任何操作，所以该分区的NOIDA数据会保留。而其他分区（比如HARYANA、MH、MP、TN）的查询结果和原数据完全一致，覆盖后这些分区的数据看起来没有变化——这就是你觉得“未删除表中任何数据”的原因，但实际上这些分区是被重新写入了相同的数据。

2. 第二次操作：insert overwrite table cities_red partition (state) select * from cities_red where city !='Mumbai'; #

Mumbai属于MH分区，但该分区下还有Nagpur的行。过滤后查询结果里仍然包含MH分区（只有Nagpur那一行）。

Hive会覆盖MH分区的所有现有数据，将其替换为查询结果中的MH行，从而删掉了原来的2行Mumbai数据——这和你的预期完全一致。

补充：如何删除整个分区 #

如果你想要彻底删除某个分区（比如UP分区），不能依赖INSERT OVERWRITE，而应该使用分区删除语句：

ALTER TABLE cities_red DROP PARTITION(state='UP');

内容的提问来源于stack exchange，提问作者Ayoush Agarwal