You need to enable JavaScript to run this app. Python机器学习项目中如何制备响应变量均匀分布的训练数据集
优惠活动
大模型
产品
解决方案
定价
更多

Python机器学习项目中如何制备响应变量均匀分布的训练数据集

二分类均衡训练数据集的Python实现方案

前置准备

  • 在终端执行命令安装所需依赖:pip install pandas imbalanced-learn
  • 读入本地原始数据集,先确认0/1响应变量的原始分布,将代码中占位的列名替换为你数据集里的实际列名即可运行:
import pandas as pd
# 替换为你的本地数据集路径
raw_df = pd.read_csv("你的数据集文件路径.csv")
# 输出查看两类的原始样本量
print(raw_df["目标响应列名"].value_counts())

两种零门槛等类样本制备方法

随机欠采样

  • 适用场景:多数类样本量远大于少数类,随机抽取部分多数类样本不会丢失关键信息
  • 实现逻辑:从样本量更多的类别中无放回随机抽取,抽取的样本量与少数类总量完全相等,再与全部少数类样本拼接为平衡数据集
  • 代码实现:
from imblearn.under_sampling import RandomUnderSampler
# 拆分特征矩阵和目标向量
X = raw_df.drop(columns=["目标响应列名"])
y = raw_df["目标响应列名"]
# 初始化采样器,固定随机种子保证每次运行生成的结果可复现
under_sampler = RandomUnderSampler(random_state=42)
X_bal, y_bal = under_sampler.fit_resample(X, y)
# 将平衡后的特征与目标拼回完整数据集
balanced_df = pd.concat(
    [pd.DataFrame(X_bal, columns=X.columns),
     pd.Series(y_bal, name=y.name)],
    axis=1
)
# 校验两类样本量是否完全相等
print(balanced_df["目标响应列名"].value_counts())

随机过采样

  • 适用场景:少数类样本量过少,欠采样会丢失过多有效信息、导致模型无法学习到足够的类别特征
  • 实现逻辑:对样本量更少的类别做有放回随机抽样,生成的样本量与多数类总量完全相等,再与全部多数类样本拼接为平衡数据集
  • 代码实现:
from imblearn.over_sampling import RandomOverSampler
over_sampler = RandomOverSampler(random_state=42)
X_bal, y_bal = over_sampler.fit_resample(X, y)
balanced_df = pd.concat(
    [pd.DataFrame(X_bal, columns=X.columns),
     pd.Series(y_bal, name=y.name)],
    axis=1
)

实操注意事项

  • 必须先切分训练集、测试集,仅对训练集做平衡处理:禁止直接在全量数据集上做平衡后再切分,否则会出现测试集信息泄露,导致后续模型评估结果虚高、完全不具备参考性
  • 可自定义固定平衡样本量:如果不需要跟随原始类别的样本量做平衡,需要强制设置两类为指定的相等样本量(比如两类各500条),在初始化采样器时传入sampling_strategy参数即可,例如sampling_strategy={0:500, 1:500}
  • 平衡后的数据集可直接导出留存:执行balanced_df.to_csv("balanced_train_dataset.csv", index=False)即可将结果保存为本地CSV文件,用于后续建模
  • 入门阶段优先选择上述两种基础随机采样方法,不需要一开始就上手SMOTE等复杂合成采样技术,避免引入额外的调参复杂度,适配你的小型项目需求完全足够

内容的提问来源于stack exchange,提问作者user12934470

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 05:45:03