Pandas分类列二值编码实现与loc赋值失效、欠采样类标设置问题
问题根因
- 你之前的代码存在两处核心错误,直接导致执行结果不符合预期:
- 赋值逻辑和需求完全颠倒:第一份代码写的
data.loc[data['type'] != 'normal', 'type'] = -1,本意是给非normal类别的样本赋值,但实际给这部分位置赋了-1,而需求里这部分应该赋值1,对应要赋值-1的normal类别没有任何赋值逻辑。 - 分步改列导致原数据被覆盖:你在原'type'列上反复进行赋值操作,第一步把非normal的位置改成数值
-1之后,列里原本存储的字符串类型取值已经被部分替换为数字;后续再执行data.loc[data['type'] == 'normal', 'type'] = 1时,pandas已经无法从被修改过的列里匹配到值为normal的行(因为原字符串值已经被覆盖),所以看起来代码完全不生效,整列都停留在之前赋值的-1状态。
- 赋值逻辑和需求完全颠倒:第一份代码写的
正确的重编码实现方案
要从根本上避免分步改列导致的原数据丢失问题,优先用一步完成判断和赋值的写法,推荐两种实现:
- 用
numpy.where直接基于原始列值做映射,全程不修改原列的中间状态:import numpy as np # 满足normal条件的条目赋值-1,其余条目赋值1 data['type'] = np.where(data['type'] == 'normal', -1, 1) - 用
apply做逐行映射,可读性更强,适合逻辑稍复杂的判断场景:
如果习惯用布尔索引的写法,一定要先给整列赋默认值,再基于原始的判断条件覆盖对应位置,不要在同一个列的修改过程中做匹配判断:data['type'] = data['type'].apply(lambda row: -1 if row == 'normal' else 1)# 先备份原始列值,避免被修改后无法匹配 original_type = data['type'].copy() data['type'] = 1 data.loc[original_type == 'normal', 'type'] = -1
关联欠采样任务的实现逻辑
重编码完成后,列内的-1对应负类(原normal样本)、1对应正类(其余四类样本),直接基于这个标签拆分样本做欠采样即可,不需要额外做标签映射:
- 按类标拆分样本子集:
neg_set = data[data['type'] == -1] pos_set = data[data['type'] == 1] - 统计两类样本量,对多数类做等量随机抽样,拼接成平衡数据集:
整个过程和类标逻辑完全打通,不会出现之前改列导致的原数据丢失问题。neg_num = len(neg_set) pos_num = len(pos_set) if neg_num > pos_num: # 负类为多数类,抽样到和正类等量 sampled_neg = neg_set.sample(n=pos_num, random_state=42) balanced_data = pd.concat([sampled_neg, pos_set]) else: # 正类为多数类,抽样到和负类等量 sampled_pos = pos_set.sample(n=neg_num, random_state=42) balanced_data = pd.concat([neg_set, sampled_pos])
内容的提问来源于stack exchange,提问作者wakanada
相关产品推荐
相关产品推荐

