Spark执行ALTER TABLE添加Hive分区未在临时目录生成分区文件夹问题

我在使用Hive表分区功能，通过Spark客户端发起操作请求。已完成建表并写入了分区数据，执行select查询可正常查到数据；但当我第二次及之后执行spark.sql("ALTER TABLE temp_table6 ADD IF NOT EXISTS PARTITION (state = '34' , city = '123')")语句时，无法查询到对应数据。Spark会在temp/temp_table6临时目录下查找分区文件夹，此时会抛出如下异常：

py4j.protocol.Py4JJavaError: An error occurred while calling o93.showString.
: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/tmp/temp_table6/state=34/city=123

经排查，第二次及之后执行添加分区语句时，确实没有在临时目录下生成分区对应的文件夹。

该问题是Spark SQL的原生设计逻辑导致：
ALTER TABLE ADD IF NOT EXISTS PARTITION语句仅在Hive元存储中无对应分区记录时，才会同时完成「新增元数据」+「创建分区存储目录」两个操作；如果分区元数据已经存在，语句会直接静默跳过，既不会检查分区物理目录是否存在，也不会补建缺失的目录。
首次写入分区数据时已经同步创建了元数据和目录，后续如果目录被临时目录清理策略、会话销毁、手动操作等删除，再次执行ADD PARTITION语句不会补建目录，就会触发查询时路径不存在的报错。

• 方案1：添加分区前主动补建目录
  执行ADD PARTITION前先通过Hadoop API创建对应分区路径，再关联元数据：

  from py4j.java_gateway import java_import
  
  # 初始化Hadoop文件系统实例
  java_import(spark._jvm, 'org.apache.hadoop.fs.Path')
  fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(spark._jsc.hadoopConfiguration())
  
  # 创建分区物理目录
  partition_path = "/tmp/temp_table6/state=34/city=123"
  fs.mkdirs(spark._jvm.Path(partition_path))
  
  # 关联分区元数据
  spark.sql("ALTER TABLE temp_table6 ADD IF NOT EXISTS PARTITION (state = '34' , city = '123') LOCATION '/tmp/temp_table6/state=34/city=123'")
  

• 方案2：改用INSERT分区写入逻辑
  直接使用Spark的分区INSERT语句写入数据，框架会自动处理元数据同步和目录创建，无需手动执行ADD PARTITION：

  # 静态分区写入示例
  spark.sql("INSERT INTO temp_table6 PARTITION(state='34', city='123') SELECT * FROM 你的源表名")
  

• 方案3：执行分区修复同步元数据状态
  如果分区目录已经被删除，可执行MSCK命令清理元存储中无效的分区记录，避免查询报错：

  spark.sql("MSCK REPAIR TABLE temp_table6")
  

• 注意事项：如果temp_table6为Spark会话级临时表，其存储路径默认在本地/tmp临时目录下，会随会话结束、系统临时目录清理策略自动删除。如果需要持久化分区数据，建议将表创建为Hive外部表，指定固定的HDFS存储路径，避免目录被意外清理。

内容的提问来源于stack exchange，提问作者madhusri mannuru