构建ML模型时的Dataframe多值列清洗与OneHot编码问题

步骤1：移除指定Reason值 #

针对百万行数据集，优先用矢量化操作+集合查询提升效率，避免逐行循环：

import pandas as pd

# 假设主数据集为main_df，包含Reasons列；排除理由数据集为exclude_df，列名exclude_reasons
# 1. 处理空值：将None转为空字符串，避免拆分报错
main_df['Reasons'] = main_df['Reasons'].fillna('')

# 2. 把要排除的理由转为集合，O(1)查询效率远高于列表
exclude_reasons = set(exclude_df['exclude_reasons'].unique())

# 3. 拆分多值列、过滤排除项、重新合并为字符串
# 拆分列为列表
main_df['Reasons_clean'] = main_df['Reasons'].str.split(',')
# 过滤掉排除项，同时去除元素前后空格（避免因空格产生无效类别）
main_df['Reasons_clean'] = main_df['Reasons_clean'].apply(
    lambda x: [item.strip() for item in x if item.strip() not in exclude_reasons]
)
# 转回逗号分隔字符串（后续编码会再拆分为列表，此步骤可选，也可直接保留列表）
main_df['Reasons_clean'] = main_df['Reasons_clean'].str.join(',')

步骤2：高效多值OneHot编码 #

避免str.get_dummies的内存爆炸问题，用MultiLabelBinarizer+稀疏矩阵处理，大幅降低内存占用：

from sklearn.preprocessing import MultiLabelBinarizer

# 1. 将清洗后的列转为列表（空字符串对应空列表）
main_df['Reasons_list'] = main_df['Reasons_clean'].apply(lambda x: x.split(',') if x else [])

# 2. 初始化编码器，启用稀疏输出（核心：只存储非零值，适合百万级数据）
mlb = MultiLabelBinarizer(sparse_output=True)
# 生成稀疏格式的OneHot编码矩阵
one_hot_sparse = mlb.fit_transform(main_df['Reasons_list'])

# 3. 稀疏矩阵转为Dataframe，对齐索引后合并原数据
one_hot_df = pd.DataFrame.sparse.from_spmatrix(
    one_hot_sparse, 
    columns=mlb.classes_,  # 列名为对应的Reason值
    index=main_df.index
)

# 4. 合并原数据集（保留其他列）与编码结果，清理中间列
final_df = pd.concat(
    [main_df.drop(['Reasons', 'Reasons_clean', 'Reasons_list'], axis=1), one_hot_df],
    axis=1
)

关键优化点 #

• 集合查询：把排除理由转为集合，查询效率从O(n)降到O(1)，处理百万行时速度提升明显
• 稀疏矩阵：MultiLabelBinarizer的稀疏输出避免了百万行×数十列的密集矩阵，内存占用仅为密集矩阵的几十分之一
• 矢量化操作：用pandas的str.split/str.join等矢量化方法替代逐行循环，大幅提升处理速度

内容的提问来源于stack exchange，提问作者Hellcat