如何提升Databricks处理1.51亿行事实表CUBE运算写入Azure Synapse的性能

一、代码逻辑优化（优先级最高，落地最快） #

• 移除末尾orderBy操作：CUBE运算后直接排序是无意义的额外开销，1.5亿级数据排序会产生大量shuffle和内存占用，若Synapse表要求有序，可写入后在Synapse侧完成聚簇索引排序，无需在Spark侧处理。
• 替换精确去重为近似去重：若业务允许1%以内的计数误差，将所有F.countDistinct替换为approx_count_distinct，该函数基于HyperLogLog算法实现，无需全量shuffle去重，可降低70%以上的shuffle开销，同时大幅缓解GC压力。
• 预计算条件标记列减少重复运算：当前代码中存在大量重复的条件判断、重复的sum计算，可在执行CUBE前先预处理出标记列，简化agg阶段的计算逻辑，示例代码如下：

# 预计算标记列，避免agg阶段重复判断
cube_department_df = cube_department_df \
    .withColumn("is_member", F.col("membership_id").isNotNull().cast("int")) \
    .withColumn("is_promotion", (F.col("promotion_flag") == "Y").cast("int"))

# agg阶段直接用标记列相乘计算指标，无需重复判断
# 例如原F.sum(F.when(cube_department_df["membership_id"].isNotNull(), cube_department_df["SalesQty"]).otherwise(0))
# 可简化为：
F.sum(F.col("SalesQty") * F.col("is_member")).alias("SalesQty_Member")

• 只保留必要的CUBE维度：检查7个CUBE维度是否都是业务必须的，每减少一个维度，CUBE的计算量会指数级下降。

二、Spark配置与GC优化 #

针对高频GC问题，可调整以下配置：

• 启用自适应执行（AQE）：确保使用Databricks Runtime 7.3LTS及以上版本，添加以下配置开启AQE优化：

spark.sql.adaptive.enabled = true
spark.sql.adaptive.coalescePartitions.enabled = true
spark.sql.adaptive.advisoryPartitionSizeInBytes = 128MB
spark.sql.cbo.enabled = true

• 内存与GC配置调整：

# 增大Executor内存分配
spark.executor.memory = 32g
spark.memory.fraction = 0.8
# 启用堆外内存分担堆内压力，减少GC
spark.memory.offHeap.enabled = true
spark.memory.offHeap.size = 16g
# 切换G1GC降低GC停顿
spark.executor.extraJavaOptions = -XX:+UseG1GC -XX:MaxGCPauseMillis=200

三、Synapse读写优化 #

• 读取优化：从Synapse读事实表时，指定分区列并行读取，添加JDBC参数partitionColumn=YEAR、lowerBound=最小年份、upperBound=最大年份、numPartitions=10、fetchsize=10000，避免单线程拉取数据。
• 写入优化：使用Databricks官方Synapse连接器的COPY语句写入，不要用普通JDBC写入，配置示例如下：

cube_department_write.write \
  .format("com.databricks.spark.sqldw") \
  .option("url", synapse_jdbc_url) \
  .option("tempDir", "abfss://你的容器@你的存储.dfs.core.windows.net/temp") \
  .option("forwardSparkAzureStorageCredentials", "true") \
  .option("dbTable", "目标表名") \
  .mode("append") \
  .save()

该方式先把数据写入ADLS临时路径，再通过Synapse的COPY命令批量加载，写入效率是普通JDBC的10倍以上。

• 写入前先暂停目标表的索引更新、统计信息自动更新，写入完成后再手动重建索引、更新统计信息，避免写入过程中额外开销。

四、集群配置优化 #

• 选择计算优化型虚拟机：优先选用Azure Databricks Fsv2系列虚拟机，CUBE运算属于CPU密集型任务，计算优化型实例的CPU性能比通用型高40%以上。
• 适当扩容Worker节点：将Worker节点数从默认的2-4个调整为8-12个，分摊shuffle压力，缩短运算时间。

内容的提问来源于stack exchange，提问作者MADFROST