Delta表覆盖写入时的Schema变更与旧数据保留方案咨询

数据老陈

2026-8-11

Delta表Schema变更（新增类型/删除列）保留旧数据的解决方案

1. 直接用ALTER TABLE修改元数据（推荐）

这是最轻量化的方案，只修改表的元数据，完全不碰旧数据：

删除列：执行ALTER TABLE <你的表名> DROP COLUMN <要删除的列名>，后续查询会自动忽略该列，旧数据里的该列数据依然保留在存储中，只是不再被读取。
新增列或兼容类型变更：
- 新增列：ALTER TABLE <你的表名> ADD COLUMN <新列名> <数据类型>，旧数据中该列会显示为NULL（或可指定默认值）。
- 兼容类型变更（比如int转bigint、string转timestamp）：ALTER TABLE <你的表名> CHANGE COLUMN <原列名> <原列名> <新数据类型>

2. 用Merge操作同步新Schema与数据

如果需要同时更新数据和调整Schema，用Merge into操作，基于唯一键匹配新旧数据，既保留旧数据，又同步新Schema：

import io.delta.tables._

val deltaTable = DeltaTable.forPath(spark, deltapath)

deltaTable.as("old_data")
  .merge(
    df3.as("new_data"),
    "old_data.唯一键列 = new_data.唯一键列" // 替换成你的表的唯一标识列
  )
  .whenMatchedUpdateAll()
  .whenNotMatchedInsertAll()
  .execute()

注意：Merge需要表有唯一键，类型变更必须是兼容的，否则会触发报错。