Spark Append模式写入Hive现有表成功但抛出org.apache.hadoop.hive.ql.metadata.Hive.alterTable方法不存在异常

我之前碰到过和你一模一样的情况，这本质是Spark与Hive版本兼容性的问题，具体原因和解决办法如下：

问题根源 #

你看到的java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.alterTable(...)异常，是因为Spark 3.0.x的Hive Shim层（用于兼容不同Hive版本的适配层）针对alterTable方法的签名，和Hive 3.1.x实际提供的方法签名不匹配。

数据能成功写入是因为：数据追加的核心逻辑已经完成，但Spark在后续尝试自动更新表的统计信息时，调用了这个不存在的方法，才抛出了异常。而overwrite模式不会触发这个统计信息更新的分支，所以能正常执行。

可行的解决方案 #

1. 升级Spark版本（推荐） #

Spark 3.1.0及以上版本已经修复了与Hive 3.1.x的兼容性问题，升级后这个异常会直接消失，这是最彻底的解决方式。

2. 关闭Spark自动更新表统计信息（临时 workaround） #

如果暂时无法升级Spark，可以通过关闭Spark的自动统计更新功能，避免触发报错的alterTable调用：

• 在代码中添加配置：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("AppendToHiveTable") \
      .config("spark.sql.statistics.histogram.enabled", "false") \
      .config("spark.sql.statistics.size.autoUpdate", "false") \
      .enableHiveSupport() \
      .getOrCreate()
  

• 或者在提交Spark任务时通过命令行参数指定：

  spark-submit \
      --conf spark.sql.statistics.histogram.enabled=false \
      --conf spark.sql.statistics.size.autoUpdate=false \
      your_script.py
  

设置完这些配置后，再执行你之前的任何追加写法（saveAsTable/insertInto/Spark SQL INSERT），数据会正常写入，且不会再抛出那个Py4JJavaError异常。

3. 手动维护表统计信息（可选） #

如果关闭自动统计后需要表的统计信息，可以在追加数据完成后，手动执行Hive命令更新：

ANALYZE TABLE db.tbl COMPUTE STATISTICS;

内容的提问来源于stack exchange，提问作者Idhem