训练RandomForestClassifier时出现float32类型数值错误如何解决?
报错
Input contains NaN, infinity or a value too large for dtype('float32') 排查解决步骤 第一步:先修正代码逻辑错误
你当前代码存在两处明显逻辑问题,可能直接引发报错:
- 你做了标准化处理,但训练随机森林时传入的还是未处理的原始
x_train,而非标准化后的x_train_std,如果原始数据存在异常值会直接触发报错 - 测试集标准化不允许调用
fit_transform,会导致数据泄露,应该直接调用已拟合的标准化器的transform方法,修正后的标准化代码如下:
std=StandardScaler() x_train_std=std.fit_transform(x_train) x_test_std=std.transform(x_test) # 训练时传入标准化后的数据集 rf.fit(x_train_std,y_train)
第二步:排查未识别的异常值
你之前用.dtypes检查是错的,.dtypes仅用于查看字段数据类型,无法识别缺失值、无穷值:
- 检查是否存在空值,执行以下代码:
print(x.isnull().sum()) # 按列统计空值数量
- 检查是否存在正负无穷值(很多时候这类值是之前做除法、对数运算时除以0/对负数取对数生成的,不会被空值检测逻辑识别),执行以下代码:
import numpy as np print(np.isinf(x).sum()) # 按列统计无穷值数量
- 检查是否存在超出float32存储范围的超大值,float32的最大值约为
3.4e38,执行以下代码查看各字段极值:
print(x.describe())
第三步:针对性修复异常值
- 无穷值处理:先把无穷值替换为空值,再统一用众数/中位数填充:
x = x.replace([np.inf, -np.inf], np.nan) # 此处替换为你自己的填充逻辑即可 x = x.fillna(x.mode().iloc[0])
- 超大值处理:如果存在超出范围的异常值,可以根据业务逻辑做截断,或者用对数变换压缩数值范围:
# 对数变换示例,仅适用于非负字段 x['异常字段名'] = np.log1p(x['异常字段名'])
- 修复后做最终校验,确认所有值都是合法有限值:
print(x.isnull().any().any()) # 输出False说明无空值 print(np.isfinite(x).all().all()) # 输出True说明无无穷值、超大值
第四步:检查数据类型合规性
确认所有特征列都是数值类型,若存在object、字符串类型的字段,需要先做独热编码或标签编码转换为数值后再训练模型。
内容的提问来源于stack exchange,提问作者潘勁安
相关产品推荐
相关产品推荐

