PySpark JDBC查询Hive表仅返回列名无数据问题求助

使用Python 3.7搭配Spark 3.2.1，通过JDBC查询Hive数据库表时，仅返回列名无实际数据，但该表在DBeaver、PowerBI、SSRS及R脚本中均能正常获取数据。代码如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

url = 'jdbc:hive2://1.1.1.1:10000/default;transportMode=http;httpPath=cliservice'
table = 'schema.table_name'
username = 'username'
password = '123456'

remote_table = spark.read\
                    .format("jdbc")\
                    .option("driver", "org.apache.hive.jdbc.HiveDriver")\
                    .option("url", url)\
                    .option("dbtable", table)\
                    .option("user", username)\
                    .option("password", password)\
                    .load()\
                    .limit(2)

remote_table.show()
spark.stop()

• 调整JDBC连接配置：Spark JDBC连接Hive时，默认fetchsize参数可能导致数据拉取异常，显式添加.option("fetchsize", "1000")到读取配置中，指定每次拉取的数据行数。
• 更换驱动类：将驱动类org.apache.hive.jdbc.HiveDriver替换为org.apache.hive.jdbc.HiveJDBCDriver，部分Spark 3.x版本对旧驱动类兼容性较差。
• 改用Spark原生Hive支持：既然基于Spark环境，直接启用Hive支持而非通过JDBC连接，兼容性和效率更优。示例代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder\
    .appName("HiveQuery")\
    .enableHiveSupport()\
    .getOrCreate()

# 直接执行Hive查询
remote_table = spark.sql("SELECT * FROM schema.table_name LIMIT 2")
remote_table.show()
spark.stop()

• 检查依赖完整性：确认Spark环境中包含与Hive服务端版本匹配的hive-jdbc、hive-service等依赖包，缺失依赖会导致数据拉取失败。
• 验证表名大小写：部分Hive环境对表名、Schema名大小写敏感，确保代码中schema.table_name与Hive中实际名称完全一致。

内容的提问来源于stack exchange，提问作者Yúri Faro