PySpark通过JDBC写入ADW性能不佳，求优化指南与最佳实践

一、JDBC核心参数调优 #

• 调优batchsize：默认值通常过小，建议根据单条数据大小调整至10000-50000区间（避免单批数据量超过ADW的单请求阈值）。
• 禁用FAN特性：添加option("oracle.jdbc.fanEnabled", "false")，ADW作为自治仓库，FAN通知机制无实际作用，关闭可减少网络交互开销。
• 统一字符类型处理：若表包含NCHAR/NVARCHAR类型，添加option("defaultNChar", "true")，避免字符格式转换带来的性能损耗。
• 优化大字段处理：添加option("oracle.jdbc.useFetchSizeWithLongColumn", "true")，提升大字段（如CLOB/BLOB）写入时的内存利用效率。

二、Spark配置优化 #

• 调整并行度：设置spark.sql.shuffle.partitions为集群总核数的2-3倍（默认200，可根据数据量调整）；同时通过dataframe.repartition(n)手动调整DataFrame分区数，让每个分区数据量适配batchsize，减少小分区带来的连接开销。
• 关闭自动分区推断：添加option("partitionColumn", "")或设置spark.sql.sources.partitionColumnTypeInference.enabled=false，避免Spark自动扫描表分区产生额外查询。
• 开启Arrow优化：设置spark.sql.execution.arrow.pyspark.enabled=true，提升Python与JVM间的数据传输效率，降低序列化开销。

三、ADW端优化 #

• 临时禁用约束：写入前禁用目标表的主键、外键、唯一约束，完成写入后重新启用，减少写入时的校验开销。
• 利用分区表特性：若目标表为分区表，确保DataFrame数据按分区键分布，避免跨分区的大规模数据写入。
• 临时提升ADW资源：在写入期间临时增加ADW的OCPU计数，利用更多计算资源加速写入，完成后再调整回原配置。

四、替代方案（性能提升更显著） #

1. 使用Oracle官方Spark连接器 #

替代通用JDBC，Oracle官方连接器针对Oracle数据库做了深度优化，支持批量并行写入：

dataframe.write.format("oracle")\
    .mode("overwrite")\
    .option("url", jdbc_url)\
    .option("dbtable", table)\
    .option("user", self.user)\
    .option("password", self.password)\
    .option("batchsize", 10000)\
    .save()

2. 外部表+COPY INTO加载 #

将DataFrame写入OCI对象存储（ADW兼容存储），再通过ADW的COPY INTO命令加载数据，适合超大规模数据场景，性能远超JDBC写入。

五、细节注意事项 #

• 提前建表：若目标表已存在，移除createTableColumnTypes参数，避免Spark重复校验和创建表结构。
• 匹配数据类型：确保DataFrame数据类型与ADW表类型完全一致（如Spark String对应ADW VARCHAR2），避免自动类型转换的性能损耗。

内容的提问来源于stack exchange，提问作者danmo41