在Microsoft Fabric中如何优化Spark写入Delta Table的性能？

针对你的场景（3.79亿行全量覆盖写入Delta表，无需ACID/版本控制特性），结合已有的测试结果，以下是几个最大化写入性能的可行方案：

1. 调整并行分区数解决Time Skew并提升写入速度 #

你遇到的Time Skew警告是指部分任务执行时间远长于其他任务，并非数据倾斜，核心原因是写入前的分区数与集群资源不匹配，导致任务负载不均。

你的集群是40个中等节点（8vCores/节点），总核数为320，建议将DataFrame分区数设置为300-320左右，让每个Core对应一个任务，充分利用集群资源：

# 先设置Spark shuffle分区数匹配目标分区数，避免额外开销
spark.conf.set("spark.sql.shuffle.partitions", 320)

# 重分区后写入Delta表
df_pv_tm_join.repartition(320) \
    .write.mode("overwrite") \
    .format("delta") \
    .save("Tables/df_pv_tm_join_opt")

这个操作既可以让任务执行时间更均衡（消除Time Skew），又能接近你测试Parquet时的写入速度，同时保证单个文件大小在合理范围（100-200MB）。

2. 关闭Delta非必要特性减少额外开销 #

因为你不需要版本控制、ACID等高级特性，可以关闭Delta的日志保留和自动优化功能，减少后台写入的额外开销：

spark.conf.set("spark.sql.shuffle.partitions", 320)

df_pv_tm_join.repartition(320) \
    .write.mode("overwrite") \
    .format("delta") \
    .option("delta.logRetentionDuration", "0 hours")  # 立即清理旧日志
    .option("delta.autoOptimize.optimizeWrite", "false")  # 关闭写入时自动优化
    .option("delta.autoOptimize.autoCompact", "false")  # 关闭后台自动合并小文件
    .save("Tables/df_pv_tm_join_opt")

3. 使用saveAsTable更贴合Lakehouse表管理 #

如果希望直接在Lakehouse的Tables区域生成规范表，推荐用saveAsTable替代save，无需手动指定Tables/前缀，Fabric会自动完成表映射：

spark.conf.set("spark.sql.shuffle.partitions", 320)

df_pv_tm_join.repartition(320) \
    .write.mode("overwrite") \
    .format("delta") \
    .option("delta.logRetentionDuration", "0 hours") \
    .saveAsTable("df_pv_tm_join_opt")

4. 按需调整分区数平衡文件大小与性能 #

如果320分区后生成的文件过小（<100MB），可以适当减少分区数到160，既保证文件大小理想，又不会过度降低并行度；反之如果文件过大（>300MB），则增加到400分区。

内容的提问来源于stack exchange，提问作者Krumelur