Databricks SQL中Decimal类型不兼容导致Delta表追加失败，求解决方案

我之前也碰到过类似的Decimal类型匹配问题，给你几个实用的解决方案：

1. 确认Cast操作真正生效，验证DataFrame Schema #

有时候我们以为cast(id as decimal(38,18))已经完成了类型转换，但实际DataFrame的schema可能没按预期更新，甚至可能存在字段名大小写不一致的情况（比如Delta表是ID而查询结果是id）。

• 先执行df.printSchema()确认id字段的类型是否确实是decimal(38,18)，如果不是，试试用selectExpr更明确地指定转换逻辑：

  df = spark.sql("selectExpr('cast(id as decimal(38,18)) as id', 'other_column') from your_source_table")
  

• 不用担心数据范围问题，你的源类型decimal(18,0)是目标类型decimal(38,18)的子集，不会出现溢出。

2. 开启Delta表的Schema演进功能 #

Delta Lake默认严格检查schema兼容性，哪怕是从更窄的Decimal类型扩展到更宽的类型，也会被拦截。你需要在写入时启用mergeSchema选项，让Delta自动兼容这种安全的类型扩展：

df.write.format("delta")\
  .mode("append")\
  .option("mergeSchema", "true")\
  .save("a_path")

这个选项允许Delta表接受字段精度/刻度的扩展（比如从decimal(18,0)到decimal(38,18)），因为这种变更不会导致数据丢失，属于安全的schema演进。

3. 手动补全Decimal的刻度 #

如果上面的方法还是不行，可能是Spark对整数型Decimal转带小数的Decimal时的自动处理有细节问题。你可以手动给源数据补零，确保刻度完全匹配目标类型：

在DataFrame API中处理：

import pyspark.sql.functions as F
df = df.withColumn("id", F.col("id").cast("decimal(38,18)") * F.lit(1.0))

或者直接在SQL查询中处理：

select cast(id * 1.0 as decimal(38,18)) as id from your_source_table

这样转换后的字段会带有18位小数（即使都是零），和Delta表的字段类型完全对齐。

额外排查点 #

• 检查Delta表的当前schema：执行DESCRIBE EXTENDED delta.查看id字段的精确类型，确认没有拼写或大小写差异。
• 如果使用的Spark版本低于3.0，可能存在Decimal类型兼容的bug，建议升级到较新的LTS版本（比如3.3或3.5）。

内容的提问来源于stack exchange，提问作者frank