Databricks写入Azure SQL卡住：超大表写入异常求助

问题背景 #

我们有一张超大型数据表（>500列、数百万行），尝试从数据湖写入Azure SQL时任务持续运行无法完成，也未抛出任何错误。以下是在其他场景多次正常运行的代码：

# Write DataFrame to SQL database
df.write \
    .format("jdbc") \
    .option("url", jdbc_url) \
    .option("dbtable", "your_table_name") \
    .option("user", connection_properties["user"]) \
    .option("password", connection_properties["password"]) \
    .option("driver", connection_properties["driver"]) \
    .mode("append") \
    .save()  

# Get the number of partitions
num_partitions = df.rdd.getNumPartitions()
print("Number of partitions:", num_partitions) // Number of partitions: 600

可能原因及解决方法 #

1. 分区数量不合理 #

当前600个分区会导致Azure SQL建立大量并发连接，引发资源竞争，拖慢写入速度甚至导致任务挂起。

• 调整分区数：根据Azure SQL实例规格，将分区数降至50-100区间（例如常规GP实例设置60-80个分区），用coalesce合并分区：

  df = df.coalesce(70)
  

• 避免动态分区生成，手动控制分区数量或指定合适的分区列。

2. JDBC写入参数未优化 #

默认配置未针对大型数据场景调整，补充关键参数：

• 设置批量写入大小：添加batchsize控制每次写入行数，列数多则适当调小（建议1000-5000）：

  .option("batchsize", "3000") \
  

• 增加超时配置：防止连接或写入超时无反馈：

  .option("connectionTimeout", "300000")  # 5分钟，单位毫秒
  .option("queryTimeout", "300000") \
  

• 开启批量语句重写：针对SQL Server优化写入性能：

  .option("rewriteBatchedStatements", "true") \
  

3. Azure SQL资源瓶颈 #

• 检查实例CPU、内存、日志使用率：若资源接近上限，临时升级实例规格（如从GP_Gen5_2升级到GP_Gen5_4），完成写入后降级。
• 查询数据库等待统计：通过Azure Portal或SSMS排查锁等待、IO等待等瓶颈。

4. 数据类型不匹配或异常数据 #

• 校验DataFrame数据类型与SQL表列类型完全匹配：例如字符串长度超限、日期格式不兼容等问题可能导致静默失败。
• 预处理异常数据：过滤含特殊字符、大量null值的行，先清洗再写入。

5. Spark资源配置不足 #

• 调整executor资源：增加--executor-memory 8g和--executor-cores 4，提升数据处理能力。
• 开启动态资源分配：让Spark根据任务需求自动调整资源。

内容的提问来源于stack exchange，提问作者bubu