Python数据分析中字符串转数值：如何动态为唯一值分配编号

针对需要批量将字符串字段转换为数值、且不适合手动枚举所有类别值的场景，可直接使用以下几种成熟的原生实现，完全省去手动构建映射字典的工作量：

方法1：pandas内置factorize() （低代码快速编码） #

该方法会自动扫描目标列的所有唯一值，按值首次出现的顺序分配从0开始的连续整数编码，是实现批量替换最简便的方式。

import pandas as pd
# 示例数据集
data = pd.DataFrame({
    "Gender": ["male", "female", "female", "male", "unknown"],
    "City": ["Beijing", "Shanghai", "Guangzhou", "Beijing", "Shanghai"]
})
# 直接生成编码值赋值给新列
data["Gender_code"] = pd.factorize(data["Gender"])[0]
# 如需保留值与编码的对应关系，可单独提取映射字典
auto_map = dict(zip(
    pd.factorize(data["Gender"])[1],  # 列中出现的所有唯一字符串值
    pd.factorize(data["Gender"])[0]   # 对应的分配数值
))

注意：该方法的编码顺序和值在列中的首次出现位置绑定，如果后续要对新数据用同一套规则编码，需单独把生成的auto_map持久化存储，不能重复运行编码逻辑。

方法2：基于pandas类别类型（Categorical）生成稳定编码 #

pandas的类别类型会自动按字符串的字典序为每个唯一值分配固定整数编码，重复运行脚本不会因为数据顺序变化打乱编码对应关系，稳定性更强。

# 把目标列转换为类别类型，自动完成唯一值枚举
data["Gender_cat"] = data["Gender"].astype("category")
# 提取自动生成的整数编码
data["Gender_code"] = data["Gender_cat"].cat.codes
# 提取自动生成的映射规则
cat_map = dict(zip(
    data["Gender_cat"].cat.categories,
    range(len(data["Gender_cat"].cat.categories))
))

方法3：scikit-learn LabelEncoder （适配机器学习管线） #

如果后续流程对接机器学习模型训练，可直接使用官方封装的编码器完成动态编码，适配数据集拆分训练集/测试集的场景，能保证两边的编码规则完全统一。

from sklearn.preprocessing import LabelEncoder
# 用目标列的所有值拟合编码器，自动提取所有唯一值做映射
encoder = LabelEncoder()
data["Gender_code"] = encoder.fit_transform(data["Gender"])
# 复用编码规则时，直接调用同一个encoder处理新数据即可，无需重新手动建字典
new_data_code = encoder.transform(new_data["Gender"])

实操注意事项 #

• 对比手动构建字典的方案，这些自动编码方法不会遇到“列值未被提前录入字典导致KeyError”的问题，能适配类别数多、枚举不全的场景
• 所有内置方法都会自动将空值（NaN）编码为-1，无需额外做空值判断逻辑
• 涉及线上推理的场景，一定要把生成的映射规则（或保存好的编码器对象）序列化存储，不能每次加载新数据时重新生成编码，否则会出现相同字符串对应不同数值的错位问题

内容的提问来源于stack exchange，提问作者OK 400