PySpark报错TypeError: unhashable type: 'Column' 求批量映射国家名方案

问题背景 #

我有一个包含3字节国家代码的PySpark DataFrame，需要用字典映射生成完整国家名。现有示例代码：

data = [[1,'USA'],[2,'CAN']]
cols = ['s.no','country']
df = spark.createDataFrame(data,cols)
df.show()

输出：

+----+-------+
|s.no|country|
+----+-------+
|   1|    USA|
|   2|    CAN|
+----+-------+

映射字典：

dict_country = {'USA':'United States', 'CAN':'Canada'}

期望得到的输出：

+----+-------+-------------+
|s.no|country| country_name|
+----+-------+-------------+
|   1|    USA|United States|
|   2|    CAN|       Canada|
+----+-------+-------------+

我目前能用嵌套when语句实现，但每个国家都要写重复代码：

df.withColumn('country_name',F.when(F.col('country')=='USA',F.lit(dict_country['USA'])).when(F.col('country')=='CAN',F.lit(dict_country['CAN']))).show()

尝试直接用F.lit(dict_country[F.col('country')])时触发错误：TypeError: unhashable type: 'Column'，想找更简洁、可扩展的实现方式。

优化方案 #

1. 使用create_map构建原生映射（优先推荐） #

用PySpark内置的create_map函数，将字典键值对转换为Spark可识别的映射关系，直接通过列值匹配获取对应名称：

from pyspark.sql import functions as F

# 将字典转为(key, value)的扁平元组列表，传入create_map
map_expr = F.create_map([F.lit(item) for pair in dict_country.items() for item in pair])
df.withColumn("country_name", map_expr[F.col("country")]).show()

优势：不需要写重复逻辑，字典新增国家时只需修改字典本身，性能和原生Spark函数一致，扩展性强。

2. 广播字典+自定义UDF（适合大字典场景） #

如果字典数据量较大，先通过广播变量减少节点间的数据传输，再用UDF实现映射：

from pyspark.sql import functions as F
from pyspark.sql.types import StringType

# 广播字典到所有节点
broadcast_country_map = spark.sparkContext.broadcast(dict_country)

# 定义映射UDF
def get_country_name(code):
    return broadcast_country_map.value.get(code, None)  # 无匹配时返回None

df.withColumn("country_name", F.udf(get_country_name, StringType())(F.col("country"))).show()

注意：UDF性能不如原生Spark函数，仅在原生函数无法满足需求时使用。

3. 字典转DataFrame后关联（适合复杂映射场景） #

把映射字典转换成小DataFrame，通过左关联实现匹配：

# 将字典转为映射DataFrame
mapping_df = spark.createDataFrame(dict_country.items(), schema=["country", "country_name"])
# 左关联保留原DataFrame所有数据
df.join(mapping_df, on="country", how="left").show()

优势：适合映射关系需要频繁更新、或映射表来自外部数据源（如数据库、文件）的场景，逻辑直观易维护。

内容的提问来源于stack exchange，提问作者OhMoh24