PySpark查询Spark Thrift数据库返回行内容为列名问题

核心原因 #

你遇到的是Spark JDBC对接Hive Thrift Server时的结果集解析异常问题，具体可分为三类常见触发场景：

• 驱动类不兼容
  你的代码中没有显式指定JDBC驱动类，Spark会自动扫描classpath中的驱动实现，若存在多版本Hive JDBC驱动或者其他数据库驱动抢占匹配，会导致返回的ResultSet解析逻辑异常，将列名识别为普通数据行。
• dbtable参数规则不匹配
  Spark JDBC的dbtable参数要求传入可直接拼接在FROM关键字后的内容，部分3.x版本Spark对接Thrift Server时，直接传入裸表名会触发元数据解析错位，最终把表头识别为数据。
• 驱动默认携带表头返回
  部分版本的Hive JDBC驱动默认会将列名作为首行返回，beeline作为官方客户端内置了自动过滤表头的逻辑，但Spark JDBC没有做对应兼容，导致表头被当成正常数据读取。

修复方案 #

你可以依次尝试以下修改：

1. 显式指定Hive驱动类，同时将dbtable参数改为子查询写法：

database = "mydb4"
table = "test"
jdbcDF = spark.read.format("jdbc") \
    .option("url", f"jdbc:hive2://<URL>/mydb4") \
    .option("dbtable", f"(select * from {table}) t") \
    .option("driver", "org.apache.hive.jdbc.HiveDriver") \
    .load()
jdbcDF.select("key").show()

2. 如果上述修改无效，可在JDBC连接参数中添加关闭表头返回的配置：

.option("hive.resultset.use.unique.column.names", "false")
.option("header", "false")

3. 检查Spark集群classpath中的Hive JDBC驱动版本，确保和Spark 3.1.2内置的Hive 2.3.x版本匹配，避免高版本或低版本驱动的兼容问题。

内容的提问来源于stack exchange，提问作者toerq