如何将PySpark连接到HiveThriftServer2？TTransportException报错解决

你搞混了两个不同的Hive服务端口：

• start-thriftserver.sh启动的是HiveServer2，默认端口10000，它是给Beeline这类JDBC客户端用的SQL执行服务，不是元存储服务。
• 你要连接的Hive元存储Thrift服务，默认端口是9083，需要单独启动，不能直接连HiveServer2的端口。

方式一：连接独立Hive元存储服务（生产/正式环境用） #

1. 先启动Hive元存储服务：

hive --service metastore

2. 启动PySpark时指定元存储的正确地址：

pyspark \
--conf spark.hadoop.hive.metastore.uris=thrift://localhost:9083 \
--conf spark.sql.hive.metastore.jars=maven \
--conf spark.sql.hive.metastore.version=2.3.9

方式二：使用内嵌元存储（仅测试场景） #

如果只是本地测试，不想单独启动元存储服务，删掉元存储地址配置即可，Spark会自动用内嵌的Derby数据库作为元存储：

pyspark \
--conf spark.sql.hive.metastore.jars=maven \
--conf spark.sql.hive.metastore.version=2.3.9

• 用telnet localhost 9083测试元存储端口是否能连通，确保服务正常运行。
• 如果元存储部署在远程机器，把localhost换成对应的主机名或IP地址。
• 确认Spark指定的spark.sql.hive.metastore.version和你实际安装的Hive版本完全一致，版本不匹配也会触发兼容性错误。

内容的提问来源于stack exchange，提问作者MatthiasF999