运行RandomForestClassifier.fit时报dtype('float32')值过大错误咨询

报错根因 #

该报错的核心原因是输入数据中存在超出float32类型取值范围的异常值，你之前的排查和清洗逻辑存在错误，导致异常值残留到了训练环节：

1. 空值过滤逻辑失效：pandas读取csv默认会将缺失值识别为NaN类型，你判断data['LotFrontage'] == "NA"的逻辑无法过滤真实的空值
2. 排查逻辑错误：StandardScaler.fit_transform()返回的是numpy数组，没有.values属性，你调用np.isnan(x_train.values)本身就存在语法问题，得到的排查结果无效

解决步骤 #

• 第一步：修正空值过滤逻辑
  将原有的空值删除逻辑替换为：

index_names = data[pd.isna(data['LotFrontage'])].index
data.drop(index_names, inplace = True)

• 第二步：强制转换选中列为数值类型，过滤非法值
  你提取的特征列可能存在非数值类型的异常值，在切分数据集前增加如下处理逻辑：

# 对选中的特征列强制转换为数值，无法转换的置为NaN
feature_cols = [0,3,4,17,18]
for col in feature_cols:
    data.iloc[:, col] = pd.to_numeric(data.iloc[:, col], errors='coerce')
# 丢弃特征列包含空值的行
data = data.dropna(subset=data.columns[feature_cols])

# 再提取特征和标签
X=data.iloc[0:200,feature_cols].values
Y=data.iloc[0:200,[80]].values

• 第三步：正确排查训练数据合法性
  标准化完成后运行如下代码确认数据正常：

print("数据类型：", x_train.dtype)
print("最大值：", np.max(x_train), "最小值：", np.min(x_train))
print("是否存在空值：", np.isnan(x_train).any())
print("是否存在无穷值：", np.isinf(x_train).any())

如果仍有超出float32取值范围（-3.4e38 ~ 3.4e38）的数值，可对原始特征列做截断处理，将异常值替换为列均值、中位数或者合理的上下阈值。

• 第四步：确认任务类型匹配
  RandomForestClassifier是分类模型，如果你要预测的是连续值（比如本次数据集的房价），请改用RandomForestRegressor，任务类型不匹配也可能触发输入格式异常。

内容的提问来源于stack exchange，提问作者Sankalp Gupta