如何通过Spark实现不重写数据向Delta Lake添加现有文件？

仅用Spark官方集成的Delta Lake无法实现你想要的「仅更新元数据、不重写已有Parquet文件」的追加操作，原因如下：

• Spark Delta的常规追加方法（如df.write.format("delta").mode("append").save(...)）依赖Spark的读写流水线，即使是外部生成的Parquet文件，也会被Spark重新读取、处理后写入新的Delta格式文件，必然涉及数据重写。
• DeltaTable.convertToDelta()是针对「将已有Parquet表转换为Delta表」的特殊原地转换逻辑，仅适用于初始化Delta表的场景，不支持向已存在的Delta表增量追加外部生成文件的需求。

你目前通过Delta Standalone实现的方案，是当前官方认可的、无需重写数据就能向Delta表追加外部文件的最优方式——Delta Standalone提供了直接操作Delta元数据的API（如DeltaLog.addFile），可以绕开Spark的写流程，直接将外部生成的Parquet文件纳入Delta表的元数据管理范畴。

内容的提问来源于stack exchange，提问作者jaymett