在PySpark中执行Hive查询报错，如何改用原生Hive引擎执行？

问题原因 #

PySpark的SQL解析器对Hive语法支持有限，不允许在CASE WHEN子句中使用IN子查询，而Hive原生引擎支持该语法。要让查询用原生Hive执行，需绕过PySpark的解析器，直接将SQL提交给HiveServer2执行。

方法一：通过Spark JDBC连接HiveServer2 #

利用Spark的JDBC功能，直接将查询发送到Hive原生引擎执行，步骤如下：

1. 配置JDBC连接参数

# 替换为你的HiveServer2地址、端口、数据库及认证信息
hive_jdbc_url = "jdbc:hive2://hive-server-host:10000/default"
connection_props = {
    "user": "your-username",
    "password": "your-password",
    "driver": "org.apache.hive.jdbc.HiveDriver"
}

2. 执行查询并获取结果

# 原Hive查询语句
query = """
select count(com_dq), col1 
from ( 
    select col1, 
           case when col2 not in (select distinct col3 from hive_Schema_name_1.table_name_1 where col4=1 AND col5='ABC' ) then 1 else 0 end as com_dq 
    from hive_Schema_name_2.table_name_2 
) as data 
group by col1;
"""

# 通过JDBC执行查询，将SQL包装为临时表
result_df = spark.read.jdbc(
    url=hive_jdbc_url,
    table=f"({query}) as temp_result",
    properties=connection_props
)

# 查看结果
result_df.show()

注意事项 #

• 确保Spark环境包含Hive JDBC驱动包（如hive-jdbc-<对应版本>.jar），可将其放入Spark的jars目录，或提交作业时用--jars参数指定路径。
• 若Hive启用Kerberos认证，需在connection_props中添加"principal": "hive/_HOST@YOUR-REALM.COM"，并确保客户端已获取Kerberos票据。

方法二：使用PyHive直接连接HiveServer2 #

PyHive是Python连接Hive的第三方库，可直接调用Hive原生引擎执行SQL：

1. 安装依赖

pip install pyhive thrift

2. 编写执行代码

from pyhive import hive
import pandas as pd

# 建立Hive连接
conn = hive.connect(
    host="hive-server-host",
    port=10000,
    username="your-username",
    password="your-password",
    database="default"
)

# 执行查询
cursor = conn.cursor()
cursor.execute(query)

# 获取结果并转为DataFrame
results = cursor.fetchall()
df = pd.DataFrame(results, columns=["count_com_dq", "col1"])

# 关闭资源
cursor.close()
conn.close()

# 查看结果
print(df)

内容的提问来源于stack exchange，提问作者Anand Reddy