如何对Pandas DataFrame做全局标签编码？相同值对应统一标签

问题场景 #

你有一个所有单元格均为字符串的DataFrame，希望实现全局标签编码——让相同字符串在整个DataFrame中对应同一整数值，同时希望能排除None值（无法排除也可接受）。但使用df.apply(le.fit_transform)后，出现同一字符串在不同列编码值不一致的问题。

问题原因 #

df.apply(le.fit_transform)会对DataFrame的每一列单独调用fit_transform，每一列都会生成独立的LabelEncoder实例。这意味着同一个字符串在不同列会被不同的编码器拟合，自然会得到不同的编码值。

解决方法 #

方法一：使用全局LabelEncoder（sklearn） #

先基于整个DataFrame的所有值训练一个全局编码器，再统一转换所有列：

from sklearn.preprocessing import LabelEncoder
import pandas as pd

# 初始化编码器
le = LabelEncoder()

# 获取DataFrame中所有值，可选过滤掉"None"字符串
all_values = df.values.flatten()
# 可选步骤：排除"None"
all_values = [val for val in all_values if val != "None"]

# 用全局所有值训练编码器
le.fit(all_values)

# 对整个DataFrame执行转换
encoded_df = df.apply(le.transform)

如果不需要排除None，直接去掉过滤步骤即可，编码器会自动将"None"作为一个类别进行编码。

方法二：纯Pandas实现（自定义映射） #

通过生成全局唯一值的映射字典，直接替换DataFrame中的值：

import pandas as pd

# 获取DataFrame中所有唯一值
all_unique = pd.unique(df.values.flatten())

# 构建映射字典：可选从1开始编码，将"None"映射为0
# 可选步骤：先过滤"None"
filtered_unique = [val for val in all_unique if val != "None"]
mapping = {val: idx+1 for idx, val in enumerate(filtered_unique)}
# 如果需要保留"None"，添加映射
mapping["None"] = 0

# 替换整个DataFrame
encoded_df = df.replace(mapping)

这种方式更灵活，你可以自定义每个字符串对应的编码值，比如让None对应0，其他类别从1开始递增。

内容的提问来源于stack exchange，提问作者Tony Sirico