使用SparkSQL删除Hive表数据：.Trash满时的问题及解决办法

问题解答：是否会静默失败？ #

是的，默认情况下会出现静默失败的情况。

当执行ALTER TABLE DROP IF EXISTS PARTITION时，Hive会将对应分区的数据移动到HDFS的.Trash目录中。如果.Trash达到了容量上限（比如集群配置的fs.trash.max.size阈值）或者文件数量限制，HDFS无法完成移动操作，但Hive不会在执行语句时抛出前台错误，只会在后台日志中记录失败信息。此时你会看到语句返回"OK"，但实际分区并没有被删除，数据仍留在原位置，属于典型的静默失败。

解决办法 #

• 清理现有Trash空间：
  可以手动强制清理Trash中的过期文件，执行命令：

  hdfs dfs -expunge
  

  也可以调整Hadoop的fs.trash.interval配置，缩短Trash文件的自动过期时间，让集群更快回收Trash空间。

• 跳过Trash直接删除：
  在删除语句中添加PURGE关键字，跳过Trash直接删除数据，语句格式：

  ALTER TABLE your_table_name DROP IF EXISTS PARTITION (dt='20240101') PURGE;
  

  注意：该操作不可恢复，务必确认目标分区数据已无保留价值后再执行。

• 排查日志确认状态：
  如果怀疑删除操作失败，可前往Hive的日志目录（如/var/log/hive/）查看执行日志，里面会包含类似Failed to move to trash的报错信息，以此验证操作是否成功。

• 调整Trash容量限制：
  修改Hadoop集群的fs.trash.max.size配置参数，增大Trash的最大存储容量（单位为GB），但需结合集群整体存储资源合理调整，避免过度占用存储空间。

内容的提问来源于stack exchange，提问作者dwong