PySpark Hive SQL将array(map(varchar,varchar))列按行转字符串

两个报错的核心原因分别是：

• 箭头->无法解析：一是SQL存在基础语法错误（distinct后多余逗号、函数缺失右括号），二是lambda形式的高阶函数仅Spark 2.4及以上版本支持，低版本Spark无法识别该语法；且transform仅能转换数组内元素，无法实现数组按行展开的需求。
• Map类型列不支持集合操作：distinct本质是全字段去重的集合操作，Spark不支持直接对Map复杂类型做哈希去重比较，只要查询字段包含Map类型且带distinct/intersect/except等集合算子就会触发该报错。

使用Spark SQL通用的LATERAL VIEW explode语法实现数组展开，兼容Spark 2.x全版本，不需要依赖高阶函数。执行逻辑是先把array<map>类型的列按行拆成单个map元素，再提取map中sport_id对应的值，最终去重时所有字段均为字符串基础类型，不会触发类型报错。

通用兼容代码（推荐） #

# PySpark 执行代码
sql_q = """
    SELECT DISTINCT
        user_id,
        sport_item['sport_id'] AS sport_id
    FROM tab
    LATERAL VIEW explode(sport_ids) t AS sport_item
"""
# 提交查询
res_df = spark.sql(sql_q)
# 查看结果，即可得到每个user_id对应多行独立sport_id的预期输出
res_df.show()

代码逻辑说明：

• LATERAL VIEW explode(sport_ids) t AS sport_item：将sport_ids数组中的每一个map元素拆分为独立行，拆分后的map字段别名为sport_item
• sport_item['sport_id']：从单行map中提取key为sport_id的字符串值
• 最终参与distinct去重的user_id和sport_id均为字符串基础类型，无复杂类型参与集合计算，不会触发类型报错。

高版本Spark可选写法（3.0+） #

如果你的Spark版本在3.0及以上，支持lambda高阶函数，可以先用transform把数组内的map统一转为sport_id字符串，再炸开数组，效果和上述写法完全一致：

sql_q = """
    SELECT DISTINCT
        user_id,
        sport_id
    FROM tab
    LATERAL VIEW explode(transform(sport_ids, x -> element_at(x, 'sport_id'))) t AS sport_id
"""
res_df = spark.sql(sql_q)

通过PySpark操作Presto表时，Spark会将Presto侧的表数据拉取到Spark计算引擎侧执行计算，所有SQL语法需要遵循Spark Hive SQL规范，不要直接混用Presto专属函数，避免出现语法解析错误。

内容的提问来源于stack exchange，提问作者user3448011