Azure Databricks写入PySpark DataFrame至Snowflake速度过慢求优化

针对你用单节点Standard_D64s_v3集群写900万条数据到Snowflake耗时超7分钟的情况，可通过以下配置优化拉满写入速度：

Snowflake连接参数优化 #

• 设置parallelism参数：直接匹配节点核数设为64，让Spark以最大并行度和Snowflake交互，配置项：option("parallelism", "64")
• 调整batch_size：把每个写入批次的行数调大，比如设为100000，减少Spark和Snowflake的请求交互次数，配置项：option("batch_size", "100000")
• 启用高效压缩：设置compression为snappy，降低数据传输体积，配置项：option("compression", "snappy")
• 确认use_copy_unload开启：这个参数默认是true，它会用Snowflake的COPY INTO机制替代逐行写入，效率更高，若之前没显式设置可以加上option("use_copy_unload", "true")

Spark集群参数调整（单节点专属） #

• 对齐任务并行度：把spark.sql.shuffle.partitions设为64，让Spark任务数和节点核数匹配，避免小任务空耗资源
• 最大化内存利用：单节点256G内存，给Spark executor分配192G（留足系统和其他进程的内存），同时把spark.executor.cores设为64，让CPU核心全量投入
• 降低日志开销：把spark.log.level设为WARN，减少不必要的日志IO消耗

数据预处理优化 #

• 预分区DataFrame：在写入前对数据做df.repartition(64)，让数据均匀分布到64个分区，和并行度完全匹配，避免部分分区数据过大拖慢整体速度

示例优化代码 #

# 优化后的完整写入代码
df.repartition(64)
.write.format("net.snowflake.spark.snowflake")
.options(**sfOptions)
.option("dbtable", "table_name")
.option("parallelism", "64")
.option("batch_size", "100000")
.option("compression", "snappy")
.option("use_copy_unload", "true")
.mode("overwrite")
.save()

另外还可以检查Snowflake目标表的结构，比如是否设置了合理的聚类键或分区键，避免写入时触发额外的后台整理操作；同时确认Azure和Snowflake是否在同一区域部署，跨区域网络延迟也会影响写入速度。

内容的提问来源于stack exchange，提问作者Ee Ann Ng