多流写入同一Delta表报错：MetadataChangedException问题咨询

• 避免并发元数据修改
  检查两个流任务是否存在自动Schema合并（mergeSchema=true）、动态分区添加、表属性修改等会变更元数据的操作。这类操作如果同时触发，会直接导致元数据冲突。建议提前定义好Delta表的Schema，关闭自动Schema合并；若需更新Schema，仅由单个任务负责执行，其他任务使用固定Schema写入。

• 配置并发优化参数
  在写入Delta表时添加以下Spark配置，增强并发兼容性：

  • spark.databricks.delta.optimizeWrite.enabled=true：启用优化写入，减少小文件生成和元数据操作冲突
  • spark.databricks.delta.transactionConflictRetries=5：增加冲突重试次数，让任务遇到元数据冲突时自动重试，而非直接失败
  • spark.databricks.delta.mergeSchema=false：若无需自动合并Schema，关闭该参数避免意外触发元数据更新

• 统一写入模式
  确保两个流任务均使用append模式写入（Structured Streaming默认模式），避免使用overwrite或merge这类会大幅修改表结构/数据的操作。如果必须使用merge，需保证两个任务处理的数据集无主键重叠，避免同时修改同一批数据引发的元数据冲突。

• 检查并重置检查点
  虽然两个任务使用独立检查点路径，但如果某任务的检查点记录的Delta表版本过期，重启后会基于旧版本写入触发冲突。可尝试删除异常任务的检查点（注意：删除后任务会从头消费数据），重新启动任务。

• 升级Delta Lake版本
  确保使用的Databricks Runtime版本在7.0及以上，新版本的Delta Lake对并发元数据操作的兼容性和冲突处理逻辑有优化，能减少此类异常的发生。

内容的提问来源于stack exchange，提问作者DumbCoder