Sklearn随机森林回归模型处理TFIDF向量时转字符串报错求助

Hey there, let's break down why you're hitting this error and fix it step by step!

问题根源 #

The error ValueError: could not convert string to float: 'UKN' tells us exactly what's wrong:

• RandomForestRegressor是回归模型，**要求目标变量必须是数值型（整数或浮点数）**才能进行训练。
• 你的m0.target数据集里包含了字符串值'UKN'，还有非数值的job_template_id，模型无法将这些字符串转换成回归所需的浮点型数值。

解决方案 #

咱们一步步来修复：

1. 先从目标数据中提取薪资列

既然m0.target同时包含job_template_id和薪资值，你需要把仅薪资数值列传入模型的fit()方法。比如假设薪资列名为salary：

# 从目标数据集中单独提取薪资列
target_salary = m0.target['salary']

2. 处理'UKN'字符串异常值

针对这个非数值异常值，有两种常用处理方式：

选项1：删除包含'UKN'的样本（操作简单，适合样本量充足的情况）

import numpy as np

# 先把'UKN'替换为NaN标记缺失值
target_salary = target_salary.replace('UKN', np.nan)
# 过滤掉薪资缺失的样本，同时同步清理TFIDF矩阵的对应行
tfidf_clean = m0.tfidf[~target_salary.isna()]
target_clean = target_salary.dropna().astype(float)

# 用清理后的数据训练模型
rfr = RandomForestRegressor(n_estimators=25)
rfr.fit(tfidf_clean, target_clean)

选项2：填充缺失值（保留所有样本，用统计值填补空缺）

如果不想丢弃样本，可以用薪资的中位数或均值替换'UKN'（中位数比均值更不容易受极端值影响）：

import numpy as np
from sklearn.impute import SimpleImputer

# 把'UKN'替换为NaN并转换为浮点型
target_salary = target_salary.replace('UKN', np.nan).astype(float)
# 用中位数填充缺失值
imputer = SimpleImputer(strategy='median')
target_clean = imputer.fit_transform(target_salary.values.reshape(-1, 1)).flatten()

# 用填充后的目标数据训练模型
rfr = RandomForestRegressor(n_estimators=25)
rfr.fit(m0.tfidf, target_clean)

3. 额外检查：确认目标数据类型

训练前一定要验证目标变量是数值型：

print(target_salary.dtypes)
print(target_salary.unique())

这能帮你确认所有非数值内容都已被处理。

内容的提问来源于stack exchange，提问作者j9000