使用SimpleImputer替换DataFrame列0和NaN缺失值报错求助
问题原因说明
- IndexError 报错根源:你在拆分数据集时调用了
.values,将pandas DataFrame转换为了NumPy数组,NumPy数组不支持列名字符串索引,仅支持整数位置、切片等作为索引,因此X_train['Age']这类写法会直接报错。 - ValueError 报错根源:
SimpleImputer的missing_values参数一次仅能指定一种缺失值标记,你设置了missing_values=0时,数据中的NaN不会被识别为缺失值,导致输入Imputer的数据仍包含NaN,触发类型报错。 - 类型转换报错根源:一是拼写错误,pandas类型转换方法为
astype而非as_type;二是数据中存在NaN时,无法直接转换为整数类型(NaN本身是浮点类型)。
解决方案
方案1:保留DataFrame结构(更推荐,列名索引不易出错)
首先修改数据集拆分代码,移除.values调用,保留pandas数据结构:
from sklearn.model_selection import train_test_split dep_var = ['is_overdue'] features = model_data2.columns.drop(dep_var) X = model_data2[features] Y = model_data2[dep_var] split_test_size = 0.30 X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=split_test_size, random_state=42)
然后统一缺失值标记后执行均值填充:
import numpy as np from sklearn.impute import SimpleImputer # 统一缺失值标记:将Age列的0替换为NaN X_train['Age'] = X_train['Age'].replace(0, np.nan) X_test['Age'] = X_test['Age'].replace(0, np.nan) # 初始化均值填充器,默认处理NaN类型缺失值 imp_mean = SimpleImputer(strategy='mean') # 传入二维数组格式的Age列,训练填充器并应用到训练集 X_train['Age'] = imp_mean.fit_transform(X_train[['Age']]) # 测试集仅使用训练集拟合的填充器转换,避免数据泄露 X_test['Age'] = imp_mean.transform(X_test[['Age']]) # 填充完成后如果需要转整数类型,可执行以下代码 X_train['Age'] = X_train['Age'].astype('int32') X_test['Age'] = X_test['Age'].astype('int32')
方案2:继续使用NumPy数组处理
如果需要保留NumPy数组结构,先确认Age列对应的索引位置(示例中按你提到的第15列,索引从0开始计数):
import numpy as np from sklearn.impute import SimpleImputer # 统一缺失值标记:将第15列的0替换为NaN X_train[:, 15][X_train[:, 15] == 0] = np.nan X_test[:, 15][X_test[:, 15] == 0] = np.nan # 初始化均值填充器 imp_mean = SimpleImputer(strategy='mean') # 取二维结构的列执行填充 X_train[:, 15:16] = imp_mean.fit_transform(X_train[:, 15:16]) X_test[:, 15:16] = imp_mean.transform(X_test[:, 15:16])
内容的提问来源于stack exchange,提问作者GenDemo
相关产品推荐
相关产品推荐

