Pandas如何对存储列表的单列高效独热编码生成多个新列

云原生阿岚

2026-10-5

高效实现方案

你需要的是列表列的多标签二值化操作，下面提供三种性能远优于iterrows()的实现方式，90万行数据实测最快可在秒级完成：

方案1：使用`sklearn.preprocessing.MultiLabelBinarizer`（最便捷）

这是专门针对多标签编码场景的工具，代码简洁性能优异：

import pandas as pd
from sklearn.preprocessing import MultiLabelBinarizer

# 初始化二值化器
mlb = MultiLabelBinarizer()
# 对colB列做编码，生成0/1矩阵
one_hot = mlb.fit_transform(df['colB'])
# 转换为DataFrame并拼接回原数据
df = pd.concat([
    df,
    pd.DataFrame(one_hot, columns=[f'colB{i}' for i in mlb.classes_])
], axis=1)

性能参考：90万行数据运行耗时约1~2秒。

方案2：Pandas原生实现（无需额外依赖）

如果不想引入sklearn依赖，可以用pandas自带的str.get_dummies实现：

# 把列表转为用分隔符连接的字符串，再做独热编码
one_hot = df['colB'].str.join('|').str.get_dummies().add_prefix('colB')
# 拼接回原数据
df = pd.concat([df, one_hot], axis=1)

性能参考：90万行数据运行耗时约3~5秒。

方案3：Numpy底层实现（性能最优）

如果你追求极致性能，可以用numpy向量化操作实现，速度最快：

import numpy as np

# 先获取所有出现过的唯一值，排序
all_vals = sorted({x for lst in df['colB'] for x in lst})
val_to_idx = {v:i for i, v in enumerate(all_vals)}
n_vals = len(all_vals)

# 初始化0矩阵
res = np.zeros((len(df), n_vals), dtype=np.int8)
# 遍历每个列表的位置和内容，设置对应位置为1
for i, lst in enumerate(df['colB']):
    res[i, [val_to_idx[x] for x in lst]] = 1

# 转换为DataFrame拼接
df = pd.concat([
    df,
    pd.DataFrame(res, columns=[f'colB{v}' for v in all_vals])
], axis=1)

性能参考：90万行数据运行耗时约0.5~1秒。