如何在pandas中仅对列的空值行使用lambda函数赋值,排查代码不生效问题
问题根因
- 你使用了链式索引进行赋值操作,这是pandas最常见的赋值不生效场景。
df[df['a'].isnull()]['a']的写法属于连续两次索引调用,第一步df[df['a'].isnull()]返回的是原数据集的切片副本,后续对这个副本的a列赋值只会修改临时生成的副本,不会作用到原df上,运行结束后临时副本被回收,所以你看不到数据变化。 - 这种场景通常pandas会抛出
SettingWithCopyWarning警告,如果你没看到警告大概率是关闭了对应告警提示。
修复方案
写法1:用loc替换链式索引(最符合pandas规范)
loc是pandas专门设计用来修改原数据的索引器,不会生成临时副本:
df.loc[df['a'].isnull(), 'a'] = df[df['a'].isnull()].apply(lambda x: 1 if (x.b==0 and x.c==0) else 0, axis=1)
写法2:用向量化操作替代逐行apply(性能更高,适合大数据量)
逐行apply效率很低,用逻辑判断的向量化运算可以大幅提升速度:
# 先定位a列空值的行 null_mask = df['a'].isnull() # 计算满足b和c都为0的条件 value_mask = (df['b'] == 0) & (df['c'] == 0) # 批量赋值 df.loc[null_mask, 'a'] = (value_mask & null_mask).astype(int)
内容的提问来源于stack exchange,提问作者Akansha
相关产品推荐
相关产品推荐

