Databricks读取存储文件时Schema不匹配问题及mergeSchema作用咨询

错误含义解读 #

这个AnalysisException错误明确说明：你要写入的Delta表（ID: 50a8bd1e32）与当前数据流的Schema存在不匹配。即使你手动指定了读取Schema，当前工作区的目标表结构和你定义的Schema、上游数据的实际结构不一致，Delta Lake为避免数据结构混乱，默认拒绝执行写入操作。

.option("mergeSchema", "true")的作用 #

• 开启该参数后，Delta Lake会自动处理兼容的Schema变更：比如数据流中新增了目标表没有的列、嵌套Struct里新增了字段，这些变更会被合并到目标表的Schema中，不会中断写入流程。
• 限制：仅支持兼容变更，不允许删除列、字段类型互转（如STRING改为INT）这类破坏性变更，遇到这类情况仍会报错。

忽略Schema、按现有表结构加载全部数据的方法 #

如果不想排查Schema差异，直接按目标表现有结构加载数据，可以用以下两种方式：

方法1：读取时对齐目标表Schema #

直接复用目标表的Schema来读取上游数据，多余的列会被自动过滤，缺失的列会填充为null，保证写入时Schema完全匹配。修改代码如下：

table_name= "main.auditlogs.Customer_Logs"
checkpoint_path = "/mnt/_checkpoint"
file_path ="/mnt/topics/audit-logs"

# 直接获取目标表的Schema，替代手动定义的schema变量
target_schema = spark.table(table_name).schema

(spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "json")
  .option("cloudFiles.schemaLocation", checkpoint_path)
  .option("ignoreMissingFiles", "true")
  .schema(target_schema)  # 使用目标表Schema
  .load(file_path)
  .writeStream
  .option("checkpointLocation", checkpoint_path)
  .trigger(availableNow=True)
  .toTable(table_name))

方法2：写入时强制覆盖Schema（谨慎使用） #

如果确认要将数据流的Schema强制覆盖到目标表（会修改目标表结构），可以添加.option("overwriteSchema", "true")，但这会直接替换目标表的现有Schema，可能导致历史数据无法正常读取，仅在明确需要修改表结构时使用。

内容的提问来源于stack exchange，提问作者ZZZSharePoint