如何提升Spark JDBC写入Azure SQL的性能？

你提到用Spark JDBC写入300万行数据到Azure SQL耗时20分钟，结合你的4核14GB集群配置和现有代码，这里有几个针对性的优化方案，能显著提升写入速度：

1. 启用SQL Server专属的批量复制优化 #

Azure SQL（SQL Server）支持useBulkCopyForBatchInsert参数，启用后Spark会使用SQL Server的Bulk Copy API替代普通JDBC批量插入，这是提升写入速度最有效的手段之一。同时配合rewriteBatchedStatements=true，让驱动把多条插入语句合并成批量语句，减少网络交互次数。

修改你的代码：

clearedDF.repartition(4) 
.write 
.format("jdbc") 
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") 
.option("batchsize", 50000)  // 适当调大批次
.option("url", jdbcUrl) 
.option("dbtable", "dbo.weather") 
.option("user", properties["user"]) 
.option("password", properties["password"]) 
.option("rewriteBatchedStatements", "true")  // 开启批量语句重写
.option("useBulkCopyForBatchInsert", "true")  // 启用Bulk Copy模式
.mode("append") 
.save()

2. 优化批次大小与分区策略 #

• 批次大小：当前batchsize=10000可以适当调大（比如50000或100000），但要结合你的集群内存。4核14GB的配置下，每个executor分配足够内存的话，50000的批次不会有OOM风险。
• 分区均匀性：检查repartition(4)后的每个分区数据量是否均匀，如果存在数据倾斜，会导致某个分区拖慢整体速度。可以用clearedDF.rdd.getNumPartitions和clearedDF.groupBy(spark_partition_id()).count()查看分区分布，必要时调整分区键或者增加分区数（比如8个，和核数的2倍匹配）。

3. 调整Spark内存配置 #

你的集群有14GB内存，合理分配executor和driver内存能提升处理效率：

# 提交Spark作业时添加配置
spark-submit \
  --executor-memory 8g \
  --driver-memory 4g \
  --num-executors 1 \  # 4核集群建议1个executor，分配4核
  --executor-cores 4 \
  your-script.scala

这样每个executor有足够内存处理大批次数据，避免频繁GC拖慢速度。同时可以设置spark.sql.shuffle.partitions=4（和你的分区数一致），减少不必要的shuffle开销。

4. 临时禁用目标表的索引与约束 #

每次插入数据时，Azure SQL需要更新表的索引和约束，这会大幅增加写入时间。可以在插入前临时禁用，完成后再恢复：

-- 插入前执行
ALTER TABLE dbo.weather DISABLE INDEX ALL;
ALTER TABLE dbo.weather NOCHECK CONSTRAINT ALL;

-- 插入完成后执行
ALTER TABLE dbo.weather REBUILD INDEX ALL;
ALTER TABLE dbo.weather CHECK CONSTRAINT ALL;

注意：如果插入过程中出现异常，需要手动恢复索引和约束，避免表处于不一致状态。

5. 确保集群与Azure SQL同区域 #

如果你的Spark集群和Azure SQL不在同一个Azure区域，跨区域的网络延迟会成为瓶颈。尽量将两者部署在同一区域，减少数据传输的时间损耗。

6. 使用Azure SQL专用Spark连接器 #

微软提供了专门的Spark-Azure SQL连接器，比原生JDBC驱动优化更彻底。你可以替换依赖为：

<!-- Maven依赖 -->
<dependency>
    <groupId>com.microsoft.azure</groupId>
    <artifactId>spark-mssql-connector_2.12</artifactId>
    <version>1.2.0</version>
</dependency>

然后修改写入代码的格式为com.microsoft.sqlserver.jdbc.spark，并启用批量复制：

clearedDF.repartition(4)
.write
.format("com.microsoft.sqlserver.jdbc.spark")
.option("url", jdbcUrl)
.option("dbtable", "dbo.weather")
.option("user", properties["user"])
.option("password", properties["password"])
.option("batchsize", 50000)
.option("bulkCopyBatchSize", 100000)  // Bulk Copy专属批次大小
.mode("append")
.save()

这些方案中，启用useBulkCopyForBatchInsert和调整批次大小是见效最快的，建议优先尝试。如果还不够，再结合其他方案逐步优化。

内容的提问来源于stack exchange，提问作者rarova