在Apache Spark中从已有表创建新表时遭遇错误

这个报错大概率是Delta Lake的配置或表本身的冲突问题导致的，我给你梳理几个最常见的解决方案：

1. 确保Delta Lake依赖已正确加载 #

Spark默认不带Delta Lake的支持，所以得先确认你的Spark环境已经引入了正确的Delta依赖：

• 如果用spark-submit启动应用，要添加Delta的包参数：

  spark-submit --packages io.delta:delta-core_2.12:2.4.0 --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog your-app.jar
  

  注意替换2.12为你的Scala版本，2.4.0为对应Delta版本（要和Spark版本匹配，比如Spark 3.3对应Delta 2.4左右）。

• 如果在代码里构建SparkSession，要显式配置Delta的扩展和Catalog：

  import org.apache.spark.sql.SparkSession
  
  val spark = SparkSession.builder()
    .appName("DeltaTableExample")
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    .getOrCreate()
  

2. 检查是否存在同名的非Delta表 #

如果你的环境里已经有一个叫table的表，但它不是Delta格式（比如是Hive表、Parquet表），那么CREATE TABLE IF NOT EXISTS不会覆盖现有表，而旧表不支持Delta的写入操作，就会触发这个错误。

解决办法：

• 先删除旧表：DROP TABLE IF EXISTS table;，再重新执行你的CREATE TABLE语句。
• 或者用CREATE OR REPLACE TABLE直接替换现有表：

  CREATE OR REPLACE TABLE table USING DELTA AS SELECT * FROM origin
  

• 也可以换个新表名，避免冲突。

3. 确认Spark版本和Delta版本兼容 #

Delta Lake和Spark有严格的版本对应关系，版本不匹配也会出现各种奇怪的错误。你可以核对下官方的兼容表，确保两者版本匹配：

• Spark 3.0.x → Delta 0.8.x-1.0.x
• Spark 3.1.x → Delta 1.0.x-1.2.x
• Spark 3.2.x → Delta 1.2.x-2.0.x
• Spark 3.3.x → Delta 2.0.x-2.4.x
• Spark 3.4.x → Delta 2.4.x及以上

4. 验证源表origin的可读性 #

虽然这个可能性比较小，但也要确保origin表能正常读取，数据格式和Delta兼容。你可以先执行SELECT * FROM origin LIMIT 10测试下，如果源表本身有问题，也可能间接导致创建表失败。

内容的提问来源于stack exchange，提问作者Ignacio Arenas