Spark DataFrame列作为Key查Python字典报错unhashable type: 'Column'如何解决

Python原生字典的get()方法仅支持传入可哈希的具体值作为查询键，而col("age")是Spark的Column类型对象，是一整列数据的抽象表达，并非单个实际值，因此无法直接作为Python字典的查询键，才会抛出"unhashable type: 'Column'"报错。

推荐优先使用Spark内置算子实现，性能优于自定义UDF，两种常用方案如下：

方案1：用内置create_map构造Spark映射列（性能最优） #

将Python字典转换为Spark原生的映射列，直接用age列作为键查询，全程走Spark引擎执行，无额外序列化开销：

from pyspark.sql.functions import create_map, lit, col, coalesce

sample = {
    10:1,
    20:2,
    30:3
}

# 构造Spark映射列，将字典的键值都转换为Spark常量列
mapping = create_map([lit(item) for kv in sample.items() for item in kv])

# 用age列查询映射列，coalesce用于处理键不存在的场景，此处默认返回None，可自行替换为lit(指定默认值)
df = df.withColumn("NewColumnname", coalesce(mapping[col("age")], lit(None)))

方案2：自定义UDF实现（适配复杂逻辑场景） #

如果查询逻辑有自定义规则，可使用UDF包装查询逻辑，适合小数据量场景使用：

from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

sample = {
    10:1,
    20:2,
    30:3
}

# 定义查询UDF，get方法第二个参数为键不存在时的默认值
@udf(returnType=IntegerType())
def query_sample(age_val):
    return sample.get(age_val, None)

df = df.withColumn("NewColumnname", query_sample(col("age")))

内容的提问来源于stack exchange，提问作者lunbox