Azure Databricks中加载数据到SQL表的最快最高效方法是什么

目前可落地的最快最高效方案是走Databricks导出到同区Azure存储 + SQL端原生COPY拉取的旁路写入路径，比默认JDBC逐批写入性能高3~10倍，尤其适合100GB以上的大数据量场景，具体实现和注意事项如下：

核心实现逻辑 #

• 第一步：将Databricks中待写入的DataFrame批量导出为高压缩比的Parquet格式，存储到与目标SQL实例同区域的Azure Blob Storage/ADLS Gen2存储中，提前配置存储与SQL实例的跨服务访问权限，避免跨区传输开销
• 第二步：直接调用目标SQL实例的原生COPY INTO命令，从存储端拉取数据写入目标表，完全跳过Databricks到SQL的JDBC传输瓶颈

代码实现示例 #

1. Databricks侧导出数据到ADLS Gen2 #

# df为待写入的目标DataFrame
output_staging_path = "abfss://<你的容器名>@<存储账号名>.dfs.core.windows.net/staging_temp/"
# 导出为snappy压缩的Parquet格式，兼顾压缩率和读取速度
df.write.format("parquet").mode("overwrite").option("compression", "snappy").save(output_staging_path)

2. 调用SQL端COPY命令写入（以Azure SQL Database为例） #

# 配置JDBC连接参数
jdbc_url = "jdbc:sqlserver://<SQL实例名>.database.windows.net:1433;database=<数据库名>;user=<账号>;password=<密码>;encrypt=true;loginTimeout=30;"

# 构造COPY INTO语句
copy_statement = f"""
COPY INTO <目标表名>
FROM '{output_staging_path}'
WITH (
    FILE_TYPE = 'PARQUET',
    CREDENTIAL = (IDENTITY = 'Managed Identity'),
    MAXERRORS = 0,
    COMPRESSION = 'SNAPPY'
)
"""

# 执行写入命令
spark.read.format("jdbc").option("url", jdbc_url).option("query", copy_statement).load()

额外优化项 #

• 10GB以下的小数据量场景，可以直接使用优化后的JDBC写入，核心配置如下：

df.write \
  .format("jdbc") \
  .option("url", jdbc_url) \
  .option("dbtable", "<目标表名>") \
  .option("batchsize", 10000) \ # 可根据单行数据大小调整，大宽表可适当调低
  .option("rewriteBatchedStatements", "true") \ # 批量写入核心优化开关
  .option("numPartitions", 16) \ # 并行度与SQL实例计算核数匹配时性能最优
  .mode("append") \
  .save()

• 若目标为Azure Synapse Analytics，直接使用官方原生synapsesql连接器写入，性能比通用方案再高20%左右

写入前如果目标表是聚簇列存储索引表，可先禁用索引，写入完成后再重建，能进一步提升30%以上的写入速度

内容的提问来源于stack exchange，提问作者Prakash