Databricks PySpark中Hive JDBC Driver属性配置失效问题排查

问题分析 #

你尝试的两种配置方式均无法生效，核心原因如下：

• Spark JDBC参数名错误：Spark JDBC数据源接受的连接属性参数名是connectionProperties，而非你使用的properties，导致驱动根本未接收到该配置。
• spark.conf.set不适用：该API用于配置Spark自身全局参数，不会将参数传递给Hive JDBC驱动实例，因此对驱动级别的配置无效。

正确配置方式 #

方式1：将参数嵌入JDBC URL #

直接把hive.resultset.use.unique.column.names=false追加到JDBC URL的参数列表中，用分号分隔：

jdbc_url = f"jdbc:hive2://{cluster_name}:443/default;transportMode=http;ssl=true;httpPath=/hive2;http.header.Connection=close;hive.resultset.use.unique.column.names=false"

hive_cfg = {
    "url": jdbc_url,
    "driver": "org.apache.hive.jdbc.HiveDriver",
    "user": storage_account_name,
    "password": storage_account_access_key,
    "inferSchema": True,
    "dbtable": "schema_name.table_name"
}

page_views_df = spark.read.format("jdbc").options(**hive_cfg).load()

方式2：使用connectionProperties传递驱动参数 #

修正Spark JDBC的参数名，通过connectionProperties字典传递Hive驱动配置：

jdbc_url = f"jdbc:hive2://{cluster_name}:443/default;transportMode=http;ssl=true;httpPath=/hive2;http.header.Connection=close"

hive_cfg = {
    "url": jdbc_url,
    "driver": "org.apache.hive.jdbc.HiveDriver",
    "user": storage_account_name,
    "password": storage_account_access_key,
    "inferSchema": True,
    "dbtable": "schema_name.table_name",
    "connectionProperties": {"hive.resultset.use.unique.column.names": "false"}
}

page_views_df = spark.read.format("jdbc").options(**hive_cfg).load()

后续属性配置注意事项 #

所有Hive JDBC驱动级别的属性，均可通过上述两种方式传递：

• 简单参数直接追加到JDBC URL更便捷；
• 参数较多或需动态生成时，使用connectionProperties字典更清晰。
  注意：大部分Hive驱动的布尔型参数需要传递字符串形式的"true"/"false"，而非Python原生布尔值True/False。

内容的提问来源于stack exchange，提问作者virtualdvid