Spark Parquet转Delta表后插入数据未生成新delta log问题

该问题不是缺少全局配置导致，核心原因是转换完成后的写入操作没有走Delta数据源链路，直接以原生Parquet格式向目标路径写数据，完全绕过了Delta Lake的事务日志生成逻辑。
你提交任务时加的两个配置，作用仅为开启Delta SQL语法扩展、注册Delta的Catalog实现，不会自动拦截所有指向该路径的普通Parquet写入请求。

你执行convertToDelta后生成的初始_delta_log目录、0版本日志与checkpoint文件完全符合Delta转换的预期结果。如果后续写入用了以下两类错误写法，就会出现你观测到的“只有Parquet数据文件、无新事务日志”的现象：

// 错误写法1：DataFrame API写入时指定格式为parquet，直接写目标路径
df.write.mode("append").parquet("你的目标存储路径")

-- 错误写法2：SQL中用parquet数据源标识操作路径，绕过Delta
INSERT INTO parquet.`你的目标存储路径` VALUES(...)

这类原生Parquet写入逻辑不会和_delta_log做任何交互，自然不会生成新版本的.json事务日志，也不会触发Delta的定期checkpoint、文件自动合并机制。

后续对该表的所有写入操作，必须明确指定走Delta数据源，两种标准写法如下：

• DataFrame API写入时，明确指定format为delta

df.write.format("delta").mode("append").save("你的目标存储路径")

• SQL操作前，先将路径对应的Delta表注册到元数据，后续直接操作表名，禁止使用parquet.路径的标识

// 注册Delta表
spark.sql("""
  CREATE TABLE IF NOT EXISTS 你的表名 
  USING delta 
  LOCATION '你的目标存储路径'
""")
// 后续插入直接操作表
spark.sql("INSERT INTO 你的表名 VALUES(...)")

执行以下代码可以验证Delta表当前识别到的版本，修复前查询结果会显示只有0版本，也就是后续写入的数据都没有被Delta表识别：

import io.delta.tables._
val deltaTbl = DeltaTable.forPath(spark, "你的目标存储路径")
// 打印Delta表历史版本总数
println(s"当前Delta表版本数：${deltaTbl.history().count()}")

内容的提问来源于stack exchange，提问作者Rajath C