Hive忽略缺失分区咨询：数据库表大量分区丢失后的查询方法

当然可以！针对你遇到的表存在大量缺失分区的情况，我们有几种实用方法能让你在查询时跳过这些无效分区，下面逐一说明：

• 方法一：用WHERE子句精准过滤有效分区
  如果你清楚哪些分区是实际存在的，直接在查询中通过WHERE条件指定有效分区的范围即可。比如你的表按日期字段dt分区，就可以这样写：

  SELECT * FROM <myTableName> WHERE dt BETWEEN '2024-01-01' AND '2024-06-30';
  

  这样查询只会扫描你指定的有效分区，完全不会涉及那些缺失的分区，既高效又不会出错。

• 方法二：临时禁用分区存在性验证（应急用）
  如果你只是临时需要查询，不想花时间处理分区，可以通过设置Hive会话参数跳过分区的文件系统存在性检查：

  SET hive.metastore.partition.validation=false;
  

  这个设置是会话级别的，关闭当前会话后就会失效。不过要注意，这种方法不适合长期使用——因为它会让查询直接基于元数据的分区信息执行，可能返回不存在的分区数据（实际是空的），所以只适合应急场景。

• 方法三：清理元数据中的缺失分区（彻底解决）
  其实最稳妥的办法是把元数据里那些文件系统不存在的分区彻底删掉，这样后续所有查询都不会再碰到这些无效分区。

  • 单个删除：如果缺失分区不多，可以用ALTER TABLE命令逐个删除：

    ALTER TABLE <myTableName> DROP PARTITION (dt='2023-12-31');
    

  • 批量删除：如果缺失分区数量很大，手动删除太麻烦，在Hive 2.3.0及以上版本中，可以直接用以下命令自动清理：

    msck repair table <myTableName> drop partitions;
    

    注意：默认的msck repair table是添加元数据中缺失但文件系统存在的分区，加上drop partitions参数才会删除元数据存在但文件系统缺失的分区，使用前确认你的Hive版本支持这个参数。

小提示：执行完批量删除命令后，再重新运行msck repair table <myTableName>;，如果输出显示OK且无缺失分区提示，就说明清理完成了。

内容的提问来源于stack exchange，提问作者Carbon