You need to enable JavaScript to run this app. Pandas用sample()对多类DataFrame等采样后原数据集未更新的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Pandas用sample()对多类DataFrame等采样后原数据集未更新的问题排查

问题原因

你的代码存在两个核心逻辑偏差,完全没有实现预期的类别均衡抽样效果:

  • 缺失行删除逻辑:全程没有对原DataFrame执行行移除操作,整个数据集的总行数始终保持原始100万行的规模不变,只是在原有行结构上做值修改。
  • pandas索引对齐赋值机制带来意外结果:当你将抽样后的子集赋值回原数据集的类别对应位置时,左值(某类别的所有原始行)的长度远大于右值(抽样得到的子集)的长度,pandas会按照索引匹配规则执行赋值:
    • 只有索引和抽样结果匹配的行,会被填入抽样的内容
    • 同类别下所有未被抽中的行,因为右值没有对应的索引,会被自动填充为NaN

这直接对应了你观察到的现象:

单独筛选某类target时,只有被抽中的10万行保留了有效的类别值,其余同类别位置的行target为NaN,因此筛选结果刚好是(100000, 2)的预期形状;但直接查看整个数据集时,因为保留了和原始数据一致的非空行,夹杂的大量空值行没有被注意,就会误以为整个数据集和抽样前完全一致。

正确实现方式

不要采用“在原数据集上切片赋值”的思路,正确逻辑是单独抽取每个类别的样本,再拼接为全新的均衡数据集,常见写法有两种:

手动循环抽取拼接(逻辑直观)

samples = 100000
sampled_groups = []
# 遍历每个类别值单独抽样
for target_val in dataset['target'].unique():
    class_data = dataset[dataset['target'] == target_val].sample(
        n=samples, 
        random_state=42 # 固定随机种子保证结果可复现
    )
    sampled_groups.append(class_data)
# 纵向拼接为新数据集,重置索引去掉原行号
balanced_dataset = pd.concat(sampled_groups, axis=0, ignore_index=True)

groupby原生抽样(代码简洁)

pandas支持直接对分组结果执行抽样,不需要手动循环:

samples = 100000
balanced_dataset = dataset.groupby('target', group_keys=False).sample(
    n=samples,
    random_state=42
).reset_index(drop=True)

两种写法最终得到的balanced_dataset都是30万行的均衡数据集,每个类别刚好10万行,没有多余空行,且与原数据集结构完全独立。

内容的提问来源于stack exchange,提问作者Stack

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 07:24:01