一、删除分区后Blob存储文件未删除的解决办法 #

Hive外部分区表的核心特性是元数据与存储分离，默认情况下ALTER TABLE DROP PARTITION或TRUNCATE TABLE只会更新Hive的元数据，不会触碰底层Blob存储的文件。要彻底删除文件，有两种靠谱的方式：

• 直接在DROP PARTITION时添加PURGE关键字：
  这个关键字会跳过回收站（如果有的话），直接删除对应的底层文件，语法如下：

  ALTER TABLE myTable DROP PARTITION(field > 'xxxx') PURGE;
  

  注意：如果你的Blob存储（比如S3、ADLS）有版本控制或回收站机制，可能需要额外配置，但Hive的PURGE已经会触发底层文件的删除操作。

• 手动删除已丢弃分区的文件：
  如果已经执行了DROP PARTITION但没加PURGE，文件还留在Blob存储里，你可以通过Hadoop命令行直接删除对应路径的文件：

  hadoop fs -rm -r /path/to/your/external/table/partition-field=xxxx
  

  或者直接在Blob存储的管理控制台找到对应分区路径删除文件。

  另外，TRUNCATE TABLE myTable PARTITION(field)对外部表同样只会清空元数据，不会删文件，要删文件的话同样需要手动清理或结合PURGE（部分Hive版本支持TRUNCATE ... PURGE，可以自行测试）。

二、外部分区表能否用非分区字段过滤删除数据？ #

很遗憾，Hive本身不支持直接通过非分区字段过滤删除外部分区表的部分数据，因为外部分区表的设计是围绕分区字段做数据管理，底层文件是按分区组织的，无法直接定位到非分区字段对应的文件片段。

你尝试的INSERT OVERWRITE没成功，大概率是因为用法不对——INSERT OVERWRITE对于外部分区表，只能覆盖整个分区的数据，无法只覆盖分区内符合非分区过滤条件的部分数据。如果一定要实现类似需求，可以用以下间接方案：

1. 临时表中转法：

   • 第一步：将原表中需要保留的数据（即过滤掉要删除的数据）插入到一个临时内部表：

     CREATE TABLE temp_table LIKE myTable;
     INSERT INTO temp_table
     SELECT * FROM myTable WHERE 非分区字段 != '要删除的条件';
     

   • 第二步：删除原表的对应分区（带PURGE）：

     ALTER TABLE myTable DROP PARTITION(分区字段='xxx') PURGE;
     

   • 第三步：将临时表的数据插回原表的对应分区：

     INSERT INTO myTable PARTITION(分区字段='xxx')
     SELECT * FROM temp_table;
     

   • 最后：删除临时表

     DROP TABLE temp_table;
     

2. 用Spark等工具辅助：
   如果你的数据量较大，用Hive的临时表中转效率不高，可以用Spark来处理——Spark可以直接读取外部分区表的数据，过滤掉不需要的部分，然后重新写入原分区（注意要覆盖原路径），这样能更灵活地实现非分区字段的过滤删除。

需要注意的是，这种间接操作会有数据重写的开销，而且要确保操作过程中没有新数据写入，避免数据丢失。如果你的业务经常需要按非分区字段删除数据，可能需要重新评估表的设计，比如将常用过滤字段设为分区字段，或者改用内部表（内部表的DELETE FROM操作在开启事务后支持行级删除，但性能一般）。

内容的提问来源于stack exchange，提问作者solalla