如何通过JDBC连接Azure HDInsight集群执行SparkSQL查询？

你提到的10002端口确实是HDInsight Spark集群内部Spark SQL Thrift Server监听的端口，这个端口仅在集群VNet内部可访问，外部无法直接连接。不过HDInsight提供了通过集群公共网关（443端口）对外暴露SparkSQL JDBC/ODBC接口的方案，具体配置如下：

1. 正确的SparkSQL JDBC连接字符串 #

使用网关的443端口，结合HTTP传输模式和专属路径，完整的连接字符串格式如下：

jdbc:hive2://<cluster-name>.azurehdinsight.net:443/default;transportMode=http;ssl=true;httpPath=/spark/sql;user=<cluster-admin-username>;password=<cluster-admin-password>

参数说明：

• <cluster-name>: 你的HDInsight Spark集群名称
• <cluster-admin-username>: 创建集群时设置的集群登录用户名（注意不是SSH登录用户名）
• <cluster-admin-password>: 对应的集群登录密码

核心关键点是httpPath=/spark/sql，这个路径会把你的JDBC请求通过HDInsight网关转发到内部的Spark SQL Thrift Server。

2. 所需的JDBC驱动 #

你需要使用与HDInsight Spark版本兼容的Hive JDBC驱动（因为Spark SQL Thrift Server兼容HiveServer2协议）。比如集群使用Spark 3.1.x的话，可选用hive-jdbc-3.1.2-standalone.jar这类驱动包。

3. 代码示例（Python） #

这里用jaydebeapi库演示如何建立连接并执行查询：

import jaydebeapi

# 替换为你的集群实际信息
cluster_name = "your-hdinsight-spark-cluster"
username = "admin"
password = "your-cluster-password"
driver_path = "/path/to/hive-jdbc-3.1.2-standalone.jar"

conn_str = f"jdbc:hive2://{cluster_name}.azurehdinsight.net:443/default;transportMode=http;ssl=true;httpPath=/spark/sql"
conn = jaydebeapi.connect(
    "org.apache.hive.jdbc.HiveDriver",
    conn_str,
    [username, password],
    driver_path
)

# 执行SparkSQL查询
cursor = conn.cursor()
cursor.execute("SELECT COUNT(*) FROM your_target_table")
print(cursor.fetchone())

# 关闭资源
cursor.close()
conn.close()

4. 注意事项 #

• 如果集群配置了VNet或防火墙规则，需要确保你的客户端IP被添加到允许访问集群网关的规则中
• 驱动版本必须与集群的Spark/Hive版本匹配，避免出现兼容性问题
• 认证方式为Basic Auth，必须在连接字符串中明确指定用户名和密码

内容的提问来源于stack exchange，提问作者NEO