Spark通过spark.read读取JDBC数据后如何关闭数据库连接

你使用的标准Spark JDBC读取代码如下：

var df = spark.read.
format("jdbc").
option("url", "jdbc:db://<DB server>:<DB port>/<dbname>").
option("user", "<username>").
option("password", "<password>").
option("dbtable", "<your table>").
load()

针对这段代码对应的数据库连接关闭问题，核心结论如下：

• 你不需要手动执行关闭操作，Spark内置的JDBC数据源会自动完成连接的资源释放，正常使用场景下不会出现连接泄漏。

连接生命周期的底层逻辑 #

Spark JDBC读取流程中创建的所有数据库连接都是短生命周期的，生命周期完全和任务执行阶段绑定，不会被长期持有：

1. Driver端初始化读取任务时，会创建临时连接拉取表元数据、计算数据分片规则，这部分连接会在元数据操作完成后立刻自动关闭。
2. 各个Executor节点上运行的数据拉取Task，会在任务启动时创建独立的JDBC连接，拉取完自身负责的分片数据后，无论任务执行成功还是抛出异常，都会通过内置的try-finally兜底逻辑自动关闭连接，不会长期占用数据库端的连接资源。

补充说明 #

你最终拿到的分布式DataFrame对象本身不持有任何JDBC连接引用，Spark也没有对外暴露手动关闭这类JDBC读连接的入口——所有连接的创建、销毁都由JDBC数据源的内部逻辑完全托管。

注意：如果你在代码中自定义了JDBC相关的UDF、或者手动编写原生JDBC代码访问数据库，这部分自行创建的连接需要你手动实现资源释放逻辑，这部分连接不属于Spark内置JDBC数据源的托管范围。

内容的提问来源于stack exchange，提问作者CompEng