如何读取并执行HQL文件（Hive查询）并创建PySpark DataFrame

原代码的潜在问题 #

• 按行拆分HQL会将多行单查询拆成多个无效片段，导致执行报错（比如跨多行的WHERE条件、JOIN语句）
• 仅处理了--行注释，未处理/* */块注释，可能残留无效内容
• union要求所有查询结果Schema完全一致，否则会触发Py4JJavaError

替代方法 #

方法1：正确拆分完整HQL语句（推荐） #

先读取文件内容，清理注释后按分号分割完整查询，再执行并合并结果：

import re

def read_and_exec_hql(hql_file_path):
    # 读取文件内容
    with open(hql_file_path, 'r') as f:
        content = f.read()
    
    # 移除块注释 /* ... */
    content = re.sub(r'/\*.*?\*/', '', content, flags=re.DOTALL)
    # 移除行注释 -- ...
    content = re.sub(r'--.*$', '', content, flags=re.MULTILINE)
    # 按分号分割成完整查询，过滤空内容
    queries = [q.strip() for q in content.split(';') if q.strip()]
    
    df_list = []
    for query in queries:
        # 执行每个查询
        temp_df = spark.sql(query)
        df_list.append(temp_df)
    
    # 合并所有DataFrame（Schema不一致时用unionByName）
    if df_list:
        return df_list[0].unionByName(*df_list[1:], allowMissingColumns=True)
    else:
        return None

hql_file_path = 'path/to/hql/file'
df = read_and_exec_hql(hql_file_path)
if df:
    df.show()

方法2：利用Spark SQL的source命令（适合单查询或DDL+查询场景） #

如果HQL文件内是单条查询，或先执行DDL再执行查询，可直接用source命令执行整个文件，再通过临时表获取结果：

# 执行HQL文件里的所有语句
spark.sql(f"source {hql_file_path}")
# 需在HQL文件末尾添加：CREATE TEMPORARY VIEW temp_result AS [你的查询语句]
df = spark.sql("SELECT * FROM temp_result")
df.show()

方法3：命令行执行+读取结果文件（适合离线脚本场景） #

先通过spark-sql命令执行HQL文件并导出结果，再用PySpark读取：

# 终端执行，导出结果到CSV
spark-sql -f path/to/hql/file > result.csv

PySpark读取代码：

df = spark.read.csv("result.csv", header=True, inferSchema=True)
df.show()

内容的提问来源于stack exchange，提问作者user175025