如何在Databricks中用字典映射替换数据集编码值

问题背景 #

现有如下结构的数据集：

每个数据集配套编码映射文件（例如GEO=1对应Ryga），需要将数据集中的编码值动态替换为实际含义，当前仅掌握字典修改列名的方法，寻求Databricks环境下PySpark的实现方案。

实现方法 #

方法1：字典+when函数单列替换 #

针对单个列，先定义编码映射字典，再用when函数构建替换逻辑：

from pyspark.sql import functions as F

# 示例：GEO列的编码映射
geo_mapping = {1: "Ryga", 2: "OtherCity"}

# 构建替换条件链
replace_expr = F.lit(None)
for code, meaning in geo_mapping.items():
    replace_expr = F.when(F.col("GEO") == code, meaning).otherwise(replace_expr)

# 执行替换（可选择覆盖原列或生成新列）
df = df.withColumn("GEO", F.coalesce(replace_expr, F.col("GEO").cast("string")))
df.display()

方法2：映射表关联替换 #

如果映射文件是结构化文件（CSV/Parquet等），可加载为映射表后通过Join批量替换：
假设映射表mapping_table结构如下：

实现代码：

# 加载映射表（以Databricks存储的CSV为例）
mapping_df = spark.read.csv("/path/to/mapping.csv", header=True, inferSchema=True)

# 定义需要替换的列列表
target_cols = ["GEO", "AGE"]

# 循环处理每一列
for col_name in target_cols:
    # 过滤当前列的映射规则
    col_mapping = mapping_df.filter(mapping_df.column_name == col_name)
    # 关联替换并清理临时列
    df = df.join(col_mapping, (df[col_name] == col_mapping.code) & (mapping_df.column_name == col_name), "left")\
           .withColumn(col_name, F.coalesce(F.col("meaning"), F.col(col_name).cast("string")))\
           .drop("code", "meaning", "column_name")

df.display()

方法3：多列批量替换通用函数 #

如果有多列需要替换，可封装通用函数批量处理：

from pyspark.sql import functions as F

# 定义所有列的编码映射字典
all_mappings = {
    "GEO": {1: "Ryga", 2: "OtherCity"},
    "AGE": {1: "18-24", 2: "25-34", 3: "35-44", 4: "45+"},
    "GEN": {1: "Male", 2: "Female"}
}

def batch_replace_codes(df, mappings):
    for col_name, code_map in mappings.items():
        replace_expr = F.lit(None)
        for code, meaning in code_map.items():
            replace_expr = F.when(F.col(col_name) == code, meaning).otherwise(replace_expr)
        # 未匹配编码保留原值（转为字符串类型）
        df = df.withColumn(col_name, F.coalesce(replace_expr, F.col(col_name).cast("string")))
    return df

# 执行批量替换
df = batch_replace_codes(df, all_mappings)
df.display()

注意事项 #

• 替换后列类型会转为字符串，若需保留原类型需根据业务需求调整。
• 未在映射中匹配的编码，可通过coalesce保留原值或设置默认值（如F.lit("Unknown")）。
• 若映射文件是Excel格式，可使用spark.read.format("com.crealytics.spark.excel")加载（需提前安装对应库）。

内容的提问来源于stack exchange，提问作者lifeofthenoobie