Kaggle房价数据集编码函数报错：无法比较ndarray与tuple类型

问题背景 #

处理Kaggle房价预测数据集时，需要对多个分类特征执行以下操作：保留高频类别并编码，将低频类别统一替换为'other'。针对多特征、不同阈值的场景，编写了如下函数：

def enc(threshold , features):

    for i in features:

        j = i + "other"
    
        repl = train[features].value_counts()[train[features].value_counts() <= threshold].index
        sample = pd.get_dummies(train[features].replace(repl , j))
    
        train.drop(features , axis = 1 , inplace = True)
    
        n_data = pd.concat([sample , train] , axis = 1 , join = "inner")
    
    return n_data

运行时在sample = ...行报错：Cannot compare types 'ndarray(dtype=object)' and 'tuple'。单独处理单个特征（如LandContour）时代码正常，但批量处理就触发错误，调试发现repl的类型为<class 'pandas.core.indexes.multi.MultiIndex'>。

错误原因 #

1. 多列处理导致索引类型错误：函数中误用train[features]（多列DataFrame）代替train[i]（单个特征列），value_counts()会统计多列类别组合的频次，返回的索引是MultiIndex（元组类型），而单个特征的类别是数组/单值类型，两者类型不匹配，触发比较错误。
2. 循环逻辑错误：每次循环都删除整个features列表中的所有特征，导致后续循环处理的特征已被从train中移除，逻辑完全混乱。

修正后的解决方案 #

修改函数，确保循环中仅针对单个特征处理，同时避免修改原始数据集：

def enc(threshold, features):
    # 复制原数据集，避免直接修改原始train
    processed_train = train.copy()
    for i in features:
        other_label = i + "_other"
        # 针对当前单个特征统计类别频次
        val_counts = processed_train[i].value_counts()
        # 筛选出需要替换为other的低频类别
        repl = val_counts[val_counts <= threshold].index
        # 替换低频类别并生成one-hot编码，添加前缀避免列名冲突
        dummy_df = pd.get_dummies(processed_train[i].replace(repl, other_label), prefix=i)
        # 删除当前处理的原特征列
        processed_train.drop(i, axis=1, inplace=True)
        # 拼接编码后的特征与剩余数据
        processed_train = pd.concat([dummy_df, processed_train], axis=1, join="inner")
    return processed_train

关键修改点 #

• 使用processed_train = train.copy()创建数据集副本，防止原始数据被意外修改
• 循环中仅操作当前特征i，确保value_counts()返回单个特征的索引（而非MultiIndex），解决类型不匹配问题
• 每次仅删除当前处理的特征列，避免后续循环找不到目标特征
• 给one-hot编码列添加prefix=i前缀，避免不同特征的编码列名重复

内容的提问来源于stack exchange，提问作者Ayush Singhal