如何创建不写入磁盘的本地DeltaTable，加速Delta Lake测试？

当然可以跳过磁盘读写，直接在内存中构造DeltaTable来加速单元测试，以下是两种实用方案：

方案1：利用Spark临时Delta表（无磁盘IO） #

将测试DataFrame写入Spark的内存临时表，直接通过表名获取DeltaTable实例，全程无需磁盘操作：

// 构造测试数据DataFrame
val testDF = Seq(MyData(column_1 = "column_1_value", column_2 = "column_2_value")).toDF()

// 写入内存临时Delta表（不会落地到磁盘）
testDF.write.format("delta").mode("overwrite").saveAsTable("test_temp_delta")

// 获取DeltaTable实例
val deltaTable = DeltaTable.forName(spark, "test_temp_delta")

// 执行待测试的merge操作
// 你的merge逻辑代码...

// 读取结果并验证
val resultOfMerge = deltaTable.toDF
// 断言验证逻辑...

方案2：直接通过DeltaTable API构造内存实例 #

无需预先写入表，直接用API创建空DeltaTable并插入测试数据，完全在内存中操作：

import io.delta.tables.DeltaTable

// 构造测试数据DataFrame
val testDF = Seq(MyData(column_1 = "column_1_value", column_2 = "column_2_value")).toDF()

// 创建空的内存DeltaTable
val deltaTable = DeltaTable.create(spark)
  .tableName("in_memory_delta_table")
  .addColumns(testDF.schema) // 从测试DataFrame复用Schema
  .execute()

// 插入测试数据到DeltaTable
deltaTable.as("target")
  .merge(testDF.as("source"), "target.column_1 = source.column_1")
  .whenNotMatchedInsertAll()
  .execute()

// 执行待测试的merge操作
// 你的merge逻辑代码...

// 读取结果并验证
val resultOfMerge = deltaTable.toDF
// 断言验证逻辑...

注意事项 #

• 确保Spark测试环境配置为内存优先，可通过spark.sql.catalogImplementation=in-memory配置，避免默认的Hive catalog将临时表写入本地磁盘。
• 测试完成后可以调用spark.sql("DROP TABLE IF EXISTS test_temp_delta")清理临时表，避免不必要的内存占用。

内容的提问来源于stack exchange，提问作者edu