Spark SQL查询指定分区时为何报其他分区不存在异常？

这个问题我之前也碰到过，核心原因是Spark和Hive对分区元数据与存储目录的校验逻辑存在差异，我来给你详细拆解并提供可行的解决思路：

为什么Spark会报错？ #

你直接删除了dt=B的分区目录但没执行DROP PARTITION操作，这就导致Hive元数据和实际存储状态不一致：

• Hive元数据里还保留着dt=B这个分区的记录，但对应的物理目录已经不存在了。
• 当Spark启用enableHiveSupport()后，它会从Hive元数据中读取所有分区信息，并且默认会校验每个分区的存储路径是否存在——哪怕你只查询dt='A'，Spark在查询前的分区扫描阶段也会检查元数据里的所有分区路径，发现dt=B的目录缺失后就抛出了FileNotFound异常。
• 而Hive本身在查询特定分区时，不会主动校验所有其他分区的路径有效性，所以Hive查dt='A'不会报错。

两种解决办法 #

方法1：修复Hive元数据（推荐） #

最彻底的方式是更新Hive元数据，移除已经不存在的分区记录：

ALTER TABLE tbl DROP IF EXISTS PARTITION (dt='B');

你可以直接用Spark SQL执行这条语句，或者在Hive CLI中运行。执行后，Hive元数据里就不再有dt=B的条目，Spark查询时自然不会再去扫描这个不存在的路径了。

方法2：关闭Spark的分区路径校验 #

如果你暂时不想修改元数据，可以通过配置Spark参数跳过分区路径的有效性检查：
修改你的SparkSession创建代码，添加spark.sql.hive.verifyPartitionPath=false配置：

warehouse_location = 'file:///path/to/warehouse'
spark = SparkSession \
    .builder \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .config("spark.sql.hive.verifyPartitionPath", "false") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql('select * from tbl where dt=\'A\'')

这个参数会让Spark忽略元数据中存在但实际路径不存在的分区，这样查询dt='A'时就不会因为dt=B的目录缺失而报错了。不过要注意，这个配置是全局生效的，会影响所有Hive表的分区校验，所以如果有其他需要严格校验分区路径的场景，需要权衡使用。

内容的提问来源于stack exchange，提问作者MoreFreeze