Spark通过JDBC驱动连接Hive读取数据值均为列名如何解决

你遇到的返回值全为列名的问题是Spark JDBC数据源与Hive SQL的标识符引用规则不兼容导致的：
Spark JDBC默认使用双引号包裹查询语句中的列名、表名等标识符，而Hive默认配置下会将双引号包裹的内容识别为字符串常量，而非标识符。Spark生成的查询语句SELECT "str_column" FROM test_table在Hive中实际执行时会返回常量字符串str_column，因此最终查询结果所有行的值都是列名本身。

方案1：使用自定义查询语句替换dbtable参数 #

放弃使用dbtable指定表名，改用query参数自行编写查询SQL，避免Spark自动生成带双引号的查询语句。
代码示例：

df = self.spark_session.read.format('jdbc') \
    .option('url', f"jdbc:hive2://{self.host}:{self.port}/{self.database}") \
    .option('driver', 'org.apache.hive.jdbc.HiveDriver') \
    .option("user", self.username) \
    .option("password", self.password) \
    .option('query', 'select * from test_table') \
    .load()
df.show()

方案2：修改Spark JDBC的标识符引用字符 #

给JDBC读取配置添加quoteChar参数，指定使用Hive支持的反引号作为标识符包裹字符，Spark生成的查询语句会自动适配Hive的规则。
代码示例：

df = self.spark_session.read.format('jdbc') \
    .option('url', f"jdbc:hive2://{self.host}:{self.port}/{self.database}") \
    .option('driver', 'org.apache.hive.jdbc.HiveDriver') \
    .option("user", self.username) \
    .option("password", self.password) \
    .option('dbtable', 'test_table') \
    .option('quoteChar', '`') \
    .load()

方案3（迁移场景更推荐）：直接对接远程Hive Metastore读取 #

如果是跨Hive集群迁移数据，不建议使用JDBC方式读取，JDBC为单通道数据拉取，性能远低于Spark分布式读取。你可以直接配置Spark的Hive Metastore地址指向远程集群，直接读取表数据后写入本地Hive，无需走JDBC协议。
核心配置逻辑：

# 配置连接远程Hive Metastore
spark_session.conf.set("spark.sql.hive.metastore.uris", "thrift://远程Hive Metastore地址:9083")
# 直接读取远程Hive表
remote_df = spark_session.read.table("test_table")
# 写入本地Hive，写入前可切换Metastore配置为本地地址
remote_df.write.saveAsTable("本地库名.本地表名")

内容的提问来源于stack exchange，提问作者Denis