Pandas用sample()对多类DataFrame等采样后原数据集未更新的问题排查
问题原因
你的代码存在两个核心逻辑偏差,完全没有实现预期的类别均衡抽样效果:
- 缺失行删除逻辑:全程没有对原DataFrame执行行移除操作,整个数据集的总行数始终保持原始100万行的规模不变,只是在原有行结构上做值修改。
- pandas索引对齐赋值机制带来意外结果:当你将抽样后的子集赋值回原数据集的类别对应位置时,左值(某类别的所有原始行)的长度远大于右值(抽样得到的子集)的长度,pandas会按照索引匹配规则执行赋值:
- 只有索引和抽样结果匹配的行,会被填入抽样的内容
- 同类别下所有未被抽中的行,因为右值没有对应的索引,会被自动填充为
NaN
这直接对应了你观察到的现象:
单独筛选某类target时,只有被抽中的10万行保留了有效的类别值,其余同类别位置的行target为NaN,因此筛选结果刚好是(100000, 2)的预期形状;但直接查看整个数据集时,因为保留了和原始数据一致的非空行,夹杂的大量空值行没有被注意,就会误以为整个数据集和抽样前完全一致。
正确实现方式
不要采用“在原数据集上切片赋值”的思路,正确逻辑是单独抽取每个类别的样本,再拼接为全新的均衡数据集,常见写法有两种:
手动循环抽取拼接(逻辑直观)
samples = 100000 sampled_groups = [] # 遍历每个类别值单独抽样 for target_val in dataset['target'].unique(): class_data = dataset[dataset['target'] == target_val].sample( n=samples, random_state=42 # 固定随机种子保证结果可复现 ) sampled_groups.append(class_data) # 纵向拼接为新数据集,重置索引去掉原行号 balanced_dataset = pd.concat(sampled_groups, axis=0, ignore_index=True)
groupby原生抽样(代码简洁)
pandas支持直接对分组结果执行抽样,不需要手动循环:
samples = 100000 balanced_dataset = dataset.groupby('target', group_keys=False).sample( n=samples, random_state=42 ).reset_index(drop=True)
两种写法最终得到的balanced_dataset都是30万行的均衡数据集,每个类别刚好10万行,没有多余空行,且与原数据集结构完全独立。
内容的提问来源于stack exchange,提问作者Stack
相关产品推荐
相关产品推荐

