Databricks超大规模Delta表Merge（Upsert）操作性能优化咨询

1. Z-Order与分区优化的有效性 #

这两种优化手段都可以有效提升你的Merge操作性能，适配逻辑如下：

• 分区优化
  优先确认表是否存在低基数、且日常更新/查询高频使用的过滤字段，比如日期列、业务线标识等，这类字段适合作为分区键。如果每日Upsert的1亿条数据仅涉及少数几个分区，分区后Merge操作可以跳过无关分区仅扫描目标分区数据，性能会有量级级提升。注意不要选择高基数字段（比如commID）作为分区键，避免产生海量小文件，分区总数量控制在几十到几百量级最优。
• Z-Order优化
  你的Upsert操作基于唯一键commID做匹配，刚好是Z-Order的典型适用场景。对targetTable按commID做Z-Order聚类后，相同/相近commID的记录会被归集到同一个数据文件中，Merge做关联匹配时可以跳过大量不相关文件，大幅减少需要扫描的数据量。注意每次完成大量数据写入后，要定期执行OPTIMIZE targetTable ZORDER BY (commID)维护聚类效果。

2. 其他针对性优化方案 #

以下是超大规模Delta表Merge场景的通用优化手段，可以根据你的集群配置和业务场景选择：

• 定期合并小文件
  你当前任务耗时持续上涨，大概率和表内小文件不断累积有关。定期对targetTable执行OPTIMIZE targetTable合并小文件，减少元数据扫描和文件读取开销，可配合设置targetFileSize参数，按集群配置将单个数据文件大小调整到128MB~1GB区间。
• 预处理上游增量数据
  每日Upsert的1亿条增量数据提前做三类处理：1）按commID去重，避免同一个主键存在多条更新数据导致的重复计算或者任务报错；2）如果业务规则允许，提前过滤掉和目标表完全匹配、无需更新的记录，减少需要Merge的数据量；3）如果已经做了表分区，给增量数据加上分区字段过滤条件，提前缩小匹配范围。
• 调整Delta Merge相关参数
  • 开启自动分区修剪：set spark.databricks.delta.merge.enablePartitionPruning = true
  • 开启广播Join优化：如果处理后的增量数据大小小于集群广播阈值，可以在Merge语句中加入广播提示：MERGE /*+ BROADCAST(upstream_df) */ INTO targetTable t USING upstream_df u ON t.commID = u.commID ...
  • 调整Shuffle并行度：根据集群资源配置，将spark.sql.shuffle.partitions调整到和任务分配的CPU核心数匹配的量级，避免Shuffle阶段出现性能瓶颈。
• 开启Delta CDC特性（如果你的Delta版本支持）
  如果该表还有其他下游链路消费变更，开启CDC可以避免下游全表扫描同步，间接降低表的整体读写压力，保障Merge操作的资源优先级。

内容的提问来源于stack exchange，提问作者nareshk