PySpark如何在键值类型不同时通过字典替换DataFrame列值

DataFrame.replace() 本身设计用于同类型值替换，会自动将替换值强制转换为原列数据类型，确实不适合整数转字符串这类跨类型映射场景。以下是两种不需要提前转换原列类型的通用实现方案：

• 方案1：使用create_map构造映射表达式（推荐通用场景）
  该方法不会做隐式类型转换，新列类型完全和映射字典的值类型一致。实现逻辑是先将Python字典转换为Spark的内置map类型常量，再用原列作为key直接取值，未匹配到的key会返回null，可自行设置默认值。
  示例代码：

  from pyspark.sql import SparkSession
  from pyspark.sql.functions import create_map, lit
  
  # 示例测试数据
  spark = SparkSession.builder.appName("col_mapping").getOrCreate()
  df = spark.createDataFrame([(1,), (2,), (3,), (4,)], schema=["int_col"])
  int_to_str_map = {1: 'A', 2: 'B', 3: 'C'}
  
  # 将字典展开为键值交替的lit序列，构造Spark map表达式
  map_expr = create_map(
      [lit(item) for kv in int_to_str_map.items() for item in kv]
  )
  
  # 生成新列，未匹配到的值填充为UNKNOWN
  result_df = df.withColumn(
      "mapped_str_col", 
      map_expr[df["int_col"]]
  ).fillna("UNKNOWN", subset=["mapped_str_col"])
  
  result_df.show()
  

  运行输出：

  +-------+--------------+
  |int_col|mapped_str_col|
  +-------+--------------+
  |      1|             A|
  |      2|             B|
  |      3|             C|
  |      4|       UNKNOWN|
  +-------+--------------+
  

  这个写法适配任意键值类型的映射，不管是整数转字符串、字符串转数字还是其他类型组合都可以直接用，不需要修改原列属性。

• 方案2：使用when/otherwise链式条件（适合少量映射条目场景）
  如果映射条目不多（少于20条），可以直接遍历字典构造CASE WHEN表达式，执行效率更高，Spark会直接将其解析为原生SQL条件逻辑，没有map查找开销。
  示例代码：

  from pyspark.sql.functions import when, lit
  
  df = spark.createDataFrame([(1,), (2,), (3,), (4,)], schema=["int_col"])
  int_to_str_map = {1: 'A', 2: 'B', 3: 'C'}
  
  # 构造链式when条件
  case_expr = None
  for k, v in int_to_str_map.items():
      if case_expr is None:
          case_expr = when(df["int_col"] == lit(k), lit(v))
      else:
          case_expr = case_expr.when(df["int_col"] == lit(k), lit(v))
  # 设置未匹配默认值
  case_expr = case_expr.otherwise(lit("UNKNOWN"))
  
  result_df = df.withColumn("mapped_str_col", case_expr)
  

补充说明：如果你的映射字典条目超过100条，建议先把字典转换为两列的映射DataFrame（一列存原key，一列存映射后的value），再通过left join的方式关联原表生成新列，避免生成过长的表达式拖慢Spark解析执行计划的速度。

内容的提问来源于stack exchange，提问作者RVa