处理不平衡数据集下采样时遇ValueError: could not convert string to float错误求助

这个错误我之前处理文本类不平衡数据集时踩过坑，核心原因很明确：下采样相关的操作默认要求输入的特征是数值型，但你的text字段还是预处理后的字符串格式，没有转换成模型能识别的数值特征。下面给你分步拆解解决思路和可直接复用的代码：

先搞清楚你是用哪种方式做下采样的，对应不同的排查方向：

• 如果是手动编写下采样逻辑：检查是不是不小心对text列做了数值运算（比如误写了df[df['text'] < 100]这类代码），字符串和数值比较自然会触发转float的错误。
• 如果是用imblearn这类库的下采样工具（比如RandomUnderSampler）：这类工具要求传入的特征矩阵X必须是纯数值型（numpy数组或仅含数值列的DataFrame），如果你的X包含text字符串列，直接就会报错。

文本数据的不平衡处理必须遵循「避免数据泄露」的原则，推荐两种可靠的方案：

方案1：手动下采样（更灵活，适合文本场景） #

这种方式只针对样本行做筛选，完全不碰文本列，从根源避免字符串转数值的问题。假设你的数据集包含text（预处理后的字符串）和label（不平衡的标签）两列：

1. 先划分训练集和测试集（用stratify保证标签分布一致）：

from sklearn.model_selection import train_test_split
import pandas as pd

# 假设原数据集是df
train_df, test_df = train_test_split(df, test_size=0.2, stratify=df['label'], random_state=42)

2. 对训练集执行手动下采样：

# 统计各类别的样本数量
class_counts = train_df['label'].value_counts()
# 取少数类的样本数作为下采样后的统一数量
min_sample_count = class_counts.min()

# 对每个类别随机选取等量样本
downsampled_train = pd.concat([
    train_df[train_df['label'] == cls].sample(n=min_sample_count, random_state=42)
    for cls in class_counts.index
])

# 打乱下采样后的数据集
downsampled_train = downsampled_train.sample(frac=1, random_state=42).reset_index(drop=True)

3. 最后把下采样后的文本转换成数值特征（以TF-IDF为例）：

from sklearn.feature_extraction.text import TfidfVectorizer

# 只在训练集上拟合TF-IDF，避免数据泄露
tfidf = TfidfVectorizer()
X_train = tfidf.fit_transform(downsampled_train['text'])
y_train = downsampled_train['label']

# 测试集用训练集的TF-IDF规则转换
X_test = tfidf.transform(test_df['text'])
y_test = test_df['label']

方案2：用imblearn工具下采样（需先做文本向量化） #

如果你偏好使用成熟的库工具，必须先把文本转换成数值特征，再传入下采样函数：

1. 划分训练测试集（同方案1）
2. 先将训练集文本转成数值特征：

tfidf = TfidfVectorizer()
# 转成numpy数组，因为imblearn要求输入为数值矩阵
X_train_raw = tfidf.fit_transform(train_df['text']).toarray()
y_train_raw = train_df['label'].values

3. 执行下采样：

from imblearn.under_sampling import RandomUnderSampler

rus = RandomUnderSampler(random_state=42)
X_train_resampled, y_train_resampled = rus.fit_resample(X_train_raw, y_train_raw)

• 绝对不要提前做全数据集的文本向量化：必须先划分训练测试集，再处理训练集的文本，否则测试集的信息会泄露到训练过程中，导致模型评估结果不准。
• 检查标签列类型：如果你的标签是字符串（比如'positive'/'negative'），建议先转成数值型：train_df['label'] = train_df['label'].map({'positive':1, 'negative':0})，避免后续操作出现类型错误。
• 下采样只针对样本行：所有下采样逻辑都应该围绕label列筛选样本，不要对text列做任何数值运算或转换操作。

内容的提问来源于stack exchange，提问作者CHONG