DeltaTables append模式+mergeSchema为何全量复制数据？求高效Schema演进方案

首先你确实误解了Delta Lake的Schema演进机制：Delta Lake的mergeSchema参数不需要重写原有数据就能完成Schema扩展，你当前的代码错误地读取了全表数据并重新写入，这才导致生成了全量数据副本。

Delta Lake Schema演进的核心逻辑 #

Delta Lake采用Schema-on-Read的兼容模式：

• 旧数据文件保留原有Schema，无需修改
• 当写入包含新列的数据时，开启mergeSchema=true，Delta会自动将新列添加到表的元数据中
• 查询时，Delta会自动为旧数据的新列填充NULL值，不需要重写旧数据文件

正确的Schema演进方案 #

1. 仅新增列（无增量数据） #

如果只是想给现有表添加新列，不需要读取原有表，直接构造一个包含新增列的空DataFrame写入即可，这样只会生成极小的空文件，完全不会触发旧数据的重写：

from pyspark.sql.types import StructType, StructField, StringType

# 定义新增的列结构
new_columns_schema = StructType([
    StructField("test1", StringType(), nullable=True),
    StructField("test2", StringType(), nullable=True)
])

# 创建空DataFrame
empty_df = spark.createDataFrame([], schema=new_columns_schema)

# 写入时开启mergeSchema完成Schema扩展
empty_df.write.format("delta") \
    .mode("append") \
    .option("mergeSchema", "true") \
    .save(delta_table_path)

2. 写入带新列的增量数据 #

如果有包含新列的增量数据需要写入，直接写入增量数据并开启mergeSchema=true即可，Delta会自动合并新旧Schema，同时只写入增量数据：

# 假设new_incremental_data是包含原有列+新增test1、test2列的增量DataFrame
new_incremental_data.write.format("delta") \
    .mode("append") \
    .option("mergeSchema", "true") \
    .save(delta_table_path)

关于overwrite模式的说明 #

用overwrite+overwriteSchema会重写全表数据，这仅适用于需要修改列类型、删除列等破坏性Schema变更的场景。单纯新增列完全不需要使用这种模式，否则必然会产生全量数据副本。

关键误区修正 #

你之前的代码读取了整个Delta表，添加新列后再append写入，相当于把所有旧数据重新写了一遍，这完全违背了Delta Lake增量处理的设计初衷。正确的做法是只处理新数据（或空数据）来触发Schema更新，旧数据会被Delta自动兼容，无需触碰。

内容的提问来源于stack exchange，提问作者Bistabil