PySpark如何获取按键排序的Map值 map_values返回顺序是否固定

关于map_values的顺序问题 #

首先明确结论：map_values的返回顺序没有稳定保证，生产环境绝对不能依赖其默认顺序做业务逻辑：

• Spark 2.x及更早版本中，Map类型基于无序哈希表实现，遍历顺序完全不固定，和键的插入顺序、自然排序都没有关联
• Spark 3.x虽然新增了保留插入顺序的Map实现，但只要经过shuffle、聚合、join等操作动态生成Map，或者跨不同版本读写数据，Map的存储顺序随时可能被打乱，不存在始终固定的返回顺序

按指定键顺序提取值的实现方案 #

方案1：动态按字典序排序键后提取值 #

如果需要对任意Map自动按照键的自然顺序排序后取值，可以通过map_entries拆分为键值对、排序后提取值实现，示例代码如下：

from pyspark.sql.functions import expr

df = spark.sql("SELECT map('a', 1, 'c', 2, 'b', 3) as data")
df.show(20, False)

# 按键升序排序后提取值
result_df = df.select(
    expr("""
        transform(
            array_sort(
                map_entries(data),
                (left, right) -> if(left.key < right.key, -1, if(left.key > right.key, 1, 0))
            ),
            entry -> entry.value
        ) as values
    """)
)
result_df.show(truncate=False)

运行后返回的values列结果为[1, 3, 2]，完全按照a、b、c的键顺序排列对应值。

方案2：固定键序列显式取值（最稳妥） #

如果业务场景下键集合是固定的，直接显式指定键的顺序取值即可，完全不受Map内部实现、执行逻辑变化的影响，稳定性最高：

result_df = df.selectExpr(
    "transform(array('a', 'b', 'c'), k -> data[k]) as values"
)
result_df.show(truncate=False)

注意事项 #

所有涉及Map结构的取值逻辑，只要对顺序有要求，必须显式做排序或者显式指定键序列，不要依赖Spark内置Map的默认遍历顺序，否则会出现随机的结果错误，且问题极难排查。

内容的提问来源于stack exchange，提问作者VincentHall