Databricks Spark读取Oracle数据库过慢问题排查求助

1. 开启JDBC并行读取 #

Spark默认JDBC读取是单分区执行，跨洲际网络下单线程拉取哪怕4万条数据，也会被往返延迟拖慢。必须指定分区规则让Spark并行拉取：

df = spark.read.jdbc(
    url=url,
    table=table_name,
    properties={"driver": "oracle.jdbc.driver.OracleDriver"},
    column="你的主键/数值型索引列",  # 比如ID、有索引的时间戳列
    lowerBound=1,
    upperBound=40000,
    numPartitions=4  # 根据数据量调整，建议4-8个分区
)

注意：分区列必须是Oracle表上有索引的字段，避免触发全表扫描额外消耗资源。

2. 调整Oracle JDBC专属参数 #

除fetchsize外，Oracle驱动有几个更关键的参数需要配置：

• defaultRowPrefetch：Oracle驱动优先使用该参数控制批量拉取行数，建议设为5000或更高
• useFetchSizeWithLongColumn：如果表包含CLOB/BLOB等大字段，开启该参数（设为true）避免逐行拉取大字段
  修改后的properties配置：

properties = {
    "driver": "oracle.jdbc.driver.OracleDriver",
    "defaultRowPrefetch": "5000",
    "useFetchSizeWithLongColumn": "true"
}

3. 排查网络链路质量 #

• 在Databricks集群节点上执行ping或traceroute命令，测试到Oracle服务器的延迟和丢包率，确认是否存在严重网络抖动或丢包
• 用sqlplus直接在Databricks节点连接Oracle，执行select count(*) from 表名和简单数据查询，判断耗时是否同样异常，排除Spark层面的问题

4. 检查Oracle端配置 #

• 确认Oracle服务器的open_cursors参数是否充足，避免因连接数不足导致等待
• 查看Oracle监听日志，排查是否存在连接超时、错误请求记录
• 确认目标表是否被其他会话锁定，或有后台任务占用资源

5. 跨区域数据预同步方案 #

如果跨洲际网络无法优化，可采用中转方案：

• 在澳大利亚本地部署中转节点（如Databricks集群或云服务器），先将Oracle数据同步到本地云存储（如S3澳洲区域）
• 再通过云厂商跨区域同步服务，将数据同步到欧洲区域存储，最后由Databricks读取写入Delta Lake

内容的提问来源于stack exchange，提问作者Łukasz Kastelik