启用Unity Catalog后JDBC代码遇Py4J白名单问题，求替代方案

报错原因 #

启用Unity Catalog后，Databricks的安全沙箱限制了Py4J对Java方法的调用，java.util.Properties.putAll方法不在允许的白名单内，导致原代码执行失败。

解决方案1：绕过putAll方法，逐个添加属性 #

直接遍历connectionProperties，用props.put逐个添加属性，避免调用被限制的putAll：

jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2};UserName={3};Password={4}".format(jdbcHostname, jdbcPort, jdbcDatabase, dbr_PrincipalId, dbr_PrincipalSecret)
connectionProperties={
    "driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",
    "authentication": "ActiveDirectoryServicePrincipal"
}

props = spark._sc._gateway.jvm.java.util.Properties()
# 逐个添加属性，替代putAll
for key, value in connectionProperties.items():
    props.put(key, value)

driver_manager = spark._sc._gateway.jvm.java.sql.DriverManager
con = driver_manager.getConnection(jdbcUrl, props)

解决方案2：使用Spark官方JDBC API（推荐） #

在Databricks环境中，更推荐直接使用Spark提供的JDBC读写API，无需手动调用底层Java DriverManager，这种方式更安全且适配Unity Catalog环境：

读取数据示例 #

jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2}".format(jdbcHostname, jdbcPort, jdbcDatabase)
connectionProperties={
    "driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",
    "authentication": "ActiveDirectoryServicePrincipal",
    "UserName": dbr_PrincipalId,
    "Password": dbr_PrincipalSecret
}

# 读取SQL Server表数据到DataFrame
df = spark.read.jdbc(url=jdbcUrl, table="your_table_name", properties=connectionProperties)
df.show()

写入数据示例 #

# 将DataFrame写入SQL Server表
df.write.jdbc(url=jdbcUrl, table="your_target_table", mode="append", properties=connectionProperties)

这种方式完全避开了Py4J的方法调用限制，同时符合Databricks的最佳实践，更适合Unity Catalog启用后的环境。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth