Azure Databricks中Delta Lake并发Merge遇ConcurrentAppendException如何解决？

当在Azure Databricks平台的Delta Lake表中执行并发Merge操作时，可能会触发如下错误：

ConcurrentAppendException: Files were added to the root of the table by a concurrent update. Please try the operation again.

以下是几种可以阻止该错误发生的方案：

• 调整表的隔离级别
  将默认的WriteSerializable隔离级别修改为Serializable，这会让Delta Lake采用更严格的一致性校验逻辑，避免并发操作导致的文件写入冲突。执行的SQL语句如下：

  ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.isolationLevel' = 'Serializable')
  

  注意：该设置会降低操作的并发性能，因为它会对表施加更严格的锁机制，需根据业务场景权衡使用。

• 优化分区策略，减少跨分区冲突
  如果表为分区表，尽量让并发的Merge操作指向不同的分区执行。Delta Lake支持分区级别的锁，不同分区的修改操作不会互相干扰，能大幅降低冲突概率。例如按日期分区的表，让不同的Merge任务分别处理不同日期的分区数据。

• 在应用层添加重试机制
  捕获ConcurrentAppendException异常后，自动重试Merge操作。这类并发冲突多为瞬时性的，重试几次即可成功。建议搭配指数退避策略，避免短时间内重复重试加剧冲突。

• 控制并发任务数量
  通过调度系统限制同时执行Merge操作的任务数量，避免过多请求同时修改表数据。比如在调度工具中设置任务的并发数上限，确保同一时间只有有限的Merge任务运行。

• 精准控制Merge操作的数据范围
  优化Merge操作的过滤条件，只针对需要修改的数据范围执行操作，减少扫描和写入的数据量。同时确保操作基于最新的表版本执行，避免基于旧版本数据修改引发的冲突。

内容的提问来源于stack exchange，提问作者Abhishek Dutta