PySpark 3.4.1安装Iceberg扩展失败，无法使用MERGE INTO

• 核心问题：Iceberg与Spark版本不兼容
  你安装的Iceberg包是针对Spark 3.2版本编译的（org.apache.iceberg:iceberg-spark-runtime-3.2_2.12:1.3.0），但实际运行的是Spark 3.4.1。Spark不同版本的内部类结构存在差异，AnsiCast类的定义或引用路径在Spark 3.2到3.4的迭代中发生了变化，导致适配Spark 3.2的Iceberg运行时包无法在Spark 3.4环境中找到该类，从而抛出NoClassDefFoundError。

• 移除extensions配置后无法使用MERGE INTO的原因
  spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions配置的作用是让Spark加载Iceberg提供的SQL扩展组件，其中就包含MERGE INTO这类Iceberg特有的语法支持。移除该配置后，Spark不会加载这些扩展功能，自然无法识别和执行MERGE INTO语句。

直接替换为适配Spark 3.4的Iceberg运行时包，修改后的命令如下：

spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.4_2.12:1.3.0 \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \
--conf spark.sql.catalog.spark_catalog.type=hive \
--conf spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.local.type=hadoop \
--conf spark.sql.catalog.local.warehouse=$PWD/warehouse

内容的提问来源于stack exchange，提问作者Sharan Kumar