Azure Databricks中Delta表200万条数据加载性能优化咨询

一、集群配置调优 #

• 升级工作节点资源：当前2个14GB内存的工作节点，对于200万条数据的写入来说资源可能不足。可以直接提升单节点内存规格（比如换成32GB），或者增加工作节点数量（到4-6个），保证有足够的CPU和内存支撑并行写入。
• 排查集群资源占用：去Databricks监控面板查看CPU、内存使用率，如果长期接近100%，说明当前集群资源被占满，优先释放其他运行任务或者直接扩容。

二、写入参数优化 #

• 移除overwriteSchema参数：这个参数会强制在写入时检查并修改表结构，平白增加额外耗时。除非每次写入都需要变更表结构，否则直接删掉该参数。
• 开启Delta优化写入：添加.option("optimizeWrite", "true")，它会自动调整写入的文件大小，减少小文件生成，大幅提升写入效率。
• 合理设置分区/分桶：如果表按字段分区，要保证写入的数据均匀分布在各个分区，避免单分区数据过载；如果后续查询有固定过滤字段，给表做分桶，分桶数建议设为工作节点总核心数的2-4倍。

三、数据预处理优化 #

• 调整DataFrame分区数：先执行df.rdd.getNumPartitions()查看当前分区数，如果远小于工作节点总核心数，说明并行度不足。用repartition调整分区数到总核心数的2-3倍（比如2个8核节点，就设32-48分区），让每个节点的核心都能参与任务处理。
• 精简写入前的计算：检查DataFrame有没有多余的转换操作，比如重复过滤、冗余聚合，能合并或删除的就及时处理，减少写入前的计算开销。

四、Delta表全局优化 #

• 写入后手动合并小文件：执行OPTIMIZE TableName命令，把写入产生的小文件合并成大文件，既提升后续查询速度，也能让下次写入更顺畅。
• 开启Auto Optimize：给表设置自动优化属性，执行以下SQL：

ALTER TABLE TableName SET TBLPROPERTIES (
  'delta.autoOptimize.optimizeWrite' = 'true',
  'delta.autoOptimize.autoCompact' = 'true'
)

开启后会自动在写入时优化文件大小，后台自动合并小文件，无需手动操作。

优化后的写入代码示例 #

# 先调整分区数，再执行写入
df.repartition(32)  # 数值根据集群核心数调整
.write.format("delta")
.option("optimizeWrite", "true")
.mode("append")
.saveAsTable("TableName")

内容的提问来源于stack exchange，提问作者userr