Scala中如何不覆写数据为Delta表新增带默认值列

完全不需要执行全表读取、覆写操作，Delta Lake原生提供了对应能力，全程仅修改表元数据，不会触碰存量数据文件，PB级体量的表也可以秒级完成操作。

实现原理 #

Delta Lake 2.0及以上版本支持新增列时指定默认值，该操作属于纯元数据事务，仅更新Delta事务日志中的表结构信息，不会扫描、重写任何存量Parquet数据文件。查询存量数据时，Delta读取引擎会自动为所有在新增列之前写入的存量行填充你设置的默认值，不需要提前把值写入存量文件；后续新写入的数据如果未指定该列值，也会自动填充默认值，只有后续触发文件重写（比如OPTIMIZE、存量数据更新）时，新生成的文件才会把默认值实际写入文件存储。

具体操作命令 #

Azure环境下使用Databricks Runtime 11.3 LTS及以上版本时，默认内置支持该特性，不需要额外配置，可根据你的使用场景选择对应语法：

• SQL语法

-- 替换为实际的表名、列名、列数据类型
ALTER TABLE <你的Delta表名>
ADD COLUMNS (<新增列名> <列数据类型> DEFAULT 1);

-- 示例：新增INT类型的new_flag列，默认值为1
-- ALTER TABLE user_behavior_log ADD COLUMNS (new_flag INT DEFAULT 1);

如果你的表是直接存储在Blob路径的外部表，也可以直接对路径执行操作：

ALTER TABLE delta.`abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<Delta表存储路径>`
ADD COLUMNS (new_flag INT DEFAULT 1);

• PySpark API语法

from delta.tables import DeltaTable

# 替换为实际的表存储路径
delta_tbl = DeltaTable.forPath(spark, "abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<Delta表存储路径>")
# 新增INT类型列new_flag，默认值1
delta_tbl.addColumn("new_flag", "INT", defaultValue=1)

注意事项 #

• 不要使用withColumn类的DataFrame API新增列后覆写表，这类操作会触发全量数据重写，必须使用带DEFAULT关键字的原生加列语法。
• 操作执行完成后，可以直接查询表验证，所有存量行的新增列都会自动返回1，不需要额外做数据补全。
• 如果你使用的Delta版本低于2.0，可先升级Delta版本再执行上述操作，不建议用视图封装补值的兼容方案，后续维护成本较高。

内容的提问来源于stack exchange，提问作者user3254986