基于微软Spark连接器的Databricks至Azure SQL数据加载性能优化咨询
Azure SQL Spark连接器写入性能优化指南
当前场景基础情况
使用微软近期发布的、支持Python API与Spark 3.0的官方SQL Server连接器,在Databricks环境中将Delta表的100万条记录加载至Azure SQL数据库,当前写入流程性能未达预期:完成100万条记录加载共耗时19分钟。
任务运行状态特征与对应公开截图展示的现象一致:写入阶段多数工作节点处于空闲等待状态,无满负荷计算表现。
当前运行环境配置
- 计算资源:8个工作节点,单节点配置28GB内存、8核心
- 目标数据库:Azure SQL 4 vCore Gen5规格实例
当前写入逻辑代码
try: df.write \ .format("com.microsoft.sqlserver.jdbc.spark") \ .mode("overwrite") \ .option("url", url) \ .option("dbtable", "lending_club_acc_loans") \ .option("user", username) \ .option("password", password) \ .option("tableLock", "true") \ .option("batchsize", "200000") \ .option("reliabilityLevel", "BEST_EFFORT") \ .save() except ValueError as error : print("Connector write failed", error)
当前配置存在的核心问题
tableLock=true的配置完全阻塞并行写入:Azure SQL端的全表锁会锁死所有并发写入连接,让多节点并行写入的优势完全失效,拉长整体锁持有时间,甚至引发锁升级、锁等待超时问题batchsize=200000的批次阈值与目标端规格不匹配:4vCore Gen5规格的Azure SQL实例单批次处理20万行记录时,容易触发数据库端的日志生成压力、锁升级问题,反而降低单批次写入的吞吐量- 未配置并行写入分片参数:当前写入逻辑无分片列配置,所有写入请求默认由单个Spark任务发起,8个工作节点的计算资源完全没有被利用
- 目标表存在额外写入开销:未提前临时禁用目标表的非聚集索引、外键约束,每批数据写入时都会触发逐行的索引更新、约束校验,拉长单批次写入耗时
reliabilityLevel=BEST_EFFORT带来的额外校验开销:该模式会在写入过程中增加额外的一致性校验逻辑,在没有分片并行配置的前提下,会进一步拉长写入时长
可落地的性能优化措施
- 调整连接器核心写入参数
- 将
tableLock调整为false,移除全表锁阻塞,释放并发写入通道 - 将
batchsize调整为20000-50000区间,匹配4vCore Azure SQL的单批次处理能力,减少锁升级、日志压力带来的性能损耗 - 新增并行分片配置:选择Delta表中无倾斜、数值型的唯一列(如自增主键)作为
partitionColumn,同时设置对应upperBound、lowerBound参数,让Spark自动将数据均匀拆分到8个工作节点并行写入,充分利用现有计算资源 - 对于无严格事务一致性要求的批量写入场景,可将
reliabilityLevel调整为NO_DUPLICATES,减少连接器端的冗余校验开销
- 将
- Azure SQL目标端侧优化
- 批量写入前临时禁用目标表的所有非聚集索引、外键约束,全量写入完成后再统一重建索引、执行约束校验,可减少70%以上的索引更新开销
- 临时开启数据库端的批量加载优化开关,匹配连接器的批量写入节奏
- 若业务允许,首次全量写入阶段可临时将Azure SQL实例规格提升至8vCore Gen5,写入完成后再恢复原有规格,避免数据库端资源不足成为写入瓶颈
- Spark计算侧优化
- 写入前对Delta表按照分片列做预分布,避免写入过程中出现数据倾斜,导致单任务积压大量数据拉长整体时长
- 移除写入前的冗余排序、数据处理操作,确保写入任务的并行度与工作节点数量匹配
内容的提问来源于stack exchange,提问作者Mayank Srivastava
相关产品推荐
相关产品推荐

