使用ALTER TABLE ADD COLUMNS时DeltaTable schema未更新问题

核心原因：DeltaTable实例的元数据缓存机制 #

当你通过DeltaTable.forPath(spark, my_table_path)创建dt实例时，该对象会在初始化阶段加载并缓存Delta表的元数据（包括Schema），后续不会自动监听底层Delta日志的Schema变更：

• ALTER TABLE ADD COLUMNS是直接修改Delta表的底层日志，但已存在的dt实例不会主动刷新缓存的Schema，因此dt.toDF().printSchema()输出的仍是初始化时的旧Schema。
• UPDATE操作能在dt.toDF().show()中反映数据更新，是因为toDF()生成的DataFrame会读取最新的数据文件，但Schema依然沿用缓存的旧版本——若UPDATE涉及新增列的赋值，你会发现新增列依然无法显示。

重新初始化生效的原因 #

重新执行dt = DeltaTable.forPath(spark, my_table_path)会触发全新的元数据加载流程，此时会读取最新的Delta日志，获取到更新后的Schema，因此能正常显示新增列。

替代解决方案（无需重新初始化） #

如果不想重新创建DeltaTable实例，可手动调用dt.refresh()方法强制刷新元数据缓存：

# 执行ALTER ADD COLUMNS操作后调用
dt.refresh()
dt.toDF().printSchema()  # 此时能正常显示新增列

内容的提问来源于stack exchange，提问作者wtfzambo