Hive外部表执行删分区后加分区偶现Partition Already Exists错误求助

• 多Hive Metastore节点缓存不一致：集群部署了3个Hive实例，默认Hive Metastore会开启本地元数据缓存，若DROP PARTITION请求路由到节点1执行，节点2、3的缓存未及时刷新，后续ADD PARTITION请求刚好路由到仍持有旧元数据的节点，就会判定分区已存在抛出异常。
• DDL请求顺序执行逻辑异常：若Java应用未等DROP PARTITION命令执行完成、拿到明确的成功返回结果就提交ADD PARTITION请求，会出现删除操作的元数据还未落库，新增请求已经开始校验元数据的情况，触发分区存在报错。
• Metastore底层数据库事务隔离问题：若Hive Metastore使用的底层关系库（如MySQL）事务隔离级别为可重复读（REPEATABLE READ），删除分区的事务未提交前，新增分区的事务读取到的仍是旧的元数据快照，也会触发该报错。
• 并发操作冲突：若同一时间有其他作业也在操作同一个分区，也可能出现删除操作未完成、其他作业或当前作业的新增请求先触发元数据校验的情况。

• 排查对应时间点所有HiveServer2节点的日志，确认DROP PARTITION和ADD PARTITION两个请求的接收时间、执行返回状态、路由到的Metastore节点信息，确认是否存在请求顺序颠倒、删除执行失败的情况。
• 排查所有Hive Metastore节点的日志，确认两个DDL请求的执行时间先后，查看是否有缓存刷新失败、元数据写入失败的相关报错。
• 排查Metastore底层关系库的日志，查看删除分区的元数据事务提交时间、新增分区的元数据查询时间，确认是否存在事务未提交就读取旧数据的情况。
• 排查Java应用的本地日志，确认两个DDL请求的提交逻辑，是否存在未确认删除成功就提交新增请求的异步提交逻辑。
• 排查对应时间段Hive的锁日志，确认是否存在DDL锁抢占导致删除操作滞后的情况。

内容的提问来源于stack exchange，提问作者Priyabrata Behera