Python机器学习项目中如何制备响应变量均匀分布的训练数据集
二分类均衡训练数据集的Python实现方案
前置准备
- 在终端执行命令安装所需依赖:
pip install pandas imbalanced-learn - 读入本地原始数据集,先确认0/1响应变量的原始分布,将代码中占位的列名替换为你数据集里的实际列名即可运行:
import pandas as pd # 替换为你的本地数据集路径 raw_df = pd.read_csv("你的数据集文件路径.csv") # 输出查看两类的原始样本量 print(raw_df["目标响应列名"].value_counts())
两种零门槛等类样本制备方法
随机欠采样
- 适用场景:多数类样本量远大于少数类,随机抽取部分多数类样本不会丢失关键信息
- 实现逻辑:从样本量更多的类别中无放回随机抽取,抽取的样本量与少数类总量完全相等,再与全部少数类样本拼接为平衡数据集
- 代码实现:
from imblearn.under_sampling import RandomUnderSampler # 拆分特征矩阵和目标向量 X = raw_df.drop(columns=["目标响应列名"]) y = raw_df["目标响应列名"] # 初始化采样器,固定随机种子保证每次运行生成的结果可复现 under_sampler = RandomUnderSampler(random_state=42) X_bal, y_bal = under_sampler.fit_resample(X, y) # 将平衡后的特征与目标拼回完整数据集 balanced_df = pd.concat( [pd.DataFrame(X_bal, columns=X.columns), pd.Series(y_bal, name=y.name)], axis=1 ) # 校验两类样本量是否完全相等 print(balanced_df["目标响应列名"].value_counts())
随机过采样
- 适用场景:少数类样本量过少,欠采样会丢失过多有效信息、导致模型无法学习到足够的类别特征
- 实现逻辑:对样本量更少的类别做有放回随机抽样,生成的样本量与多数类总量完全相等,再与全部多数类样本拼接为平衡数据集
- 代码实现:
from imblearn.over_sampling import RandomOverSampler over_sampler = RandomOverSampler(random_state=42) X_bal, y_bal = over_sampler.fit_resample(X, y) balanced_df = pd.concat( [pd.DataFrame(X_bal, columns=X.columns), pd.Series(y_bal, name=y.name)], axis=1 )
实操注意事项
- 必须先切分训练集、测试集,仅对训练集做平衡处理:禁止直接在全量数据集上做平衡后再切分,否则会出现测试集信息泄露,导致后续模型评估结果虚高、完全不具备参考性
- 可自定义固定平衡样本量:如果不需要跟随原始类别的样本量做平衡,需要强制设置两类为指定的相等样本量(比如两类各500条),在初始化采样器时传入
sampling_strategy参数即可,例如sampling_strategy={0:500, 1:500} - 平衡后的数据集可直接导出留存:执行
balanced_df.to_csv("balanced_train_dataset.csv", index=False)即可将结果保存为本地CSV文件,用于后续建模 - 入门阶段优先选择上述两种基础随机采样方法,不需要一开始就上手SMOTE等复杂合成采样技术,避免引入额外的调参复杂度,适配你的小型项目需求完全足够
内容的提问来源于stack exchange,提问作者user12934470
相关产品推荐
相关产品推荐

