Pandas实现非缺失值向下延伸及循环代码报'C'列不存在问题
场景说明
初始数据
当前持有的pandas DataFrame结构如下:
import pandas as pd import numpy as np df=pd.DataFrame({'A':[1,2,3,4,5],'B':[6,np.nan,np.nan,3,np.nan]})
对应的表格输出:
| A | B |
|---|---|
| 1 | 6.0 |
| 2 | NaN |
| 3 | NaN |
| 4 | 3.0 |
| 5 | NaN |
实际需求
生成新列C,最终表格效果为:
| A | B | C |
|---|---|---|
| 1 | 6.0 | 6.0 |
| 2 | NaN | NaN |
| 3 | NaN | NaN |
| 4 | 3.0 | 3.0 |
| 5 | NaN | NaN |
规则非常明确:B列非缺失的位置,C列取和B完全相同的值;B列是缺失值的位置,C列保留缺失状态,不做任何填充。
现有代码的异常原因
之前尝试用循环实现需求,代码如下:
for i in df.index: df['C'][i]=np.where(pd.isnull(df['B'].iloc[i]),df['C'][i-1],df.B.iloc[i])
这段代码运行效果不稳定,导致异常的原因主要有三点:
- 列不存在的报错来源:第一次运行时如果没有预先初始化空的C列,直接通过链式索引
df['C'][i]赋值,会直接提示无法识别列C。昨晚能跑通,是因为之前的代码运行残留了C列在当前的DataFrame内存对象里;今早重新加载、初始化了df,内存里没有残留的C列,就直接触发报错。 - 逻辑和需求不匹配:代码本身的规则是,遇到B列的缺失值就取上一行的C值做填充,实际跑出来的C列会把1、2、4行的缺失位置都填上上面的非缺失值,和预期要的效果完全不符。
- 链式索引赋值的隐患:pandas中不推荐通过
df[列][行]的链式写法做值修改,这种写法有时会触发SettingWithCopyWarning,甚至出现赋值不生效的情况,进一步导致运行效果时好时坏。另外循环走到第一行(index=0)时,i-1会取到最后一行的索引(-1),本身就存在逻辑漏洞。
正确实现方案
对应需求的最简实现根本不需要循环,直接把B列赋值给C列就可以完全匹配预期效果:
df['C'] = df['B']
运行后的输出完全和目标效果一致,没有多余的填充逻辑,执行效率也远高于逐行循环。
备注:如果后续需求调整为需要把B列的非缺失值向下连续填充到下方所有缺失单元格,不需要写循环,可以直接用pandas内置的
ffill()方法实现,效率远高于手写循环:# 该方法为可选拓展,不适用本次当前需求 df['C'] = df['B'].ffill()
通用排查思路
- 先核对代码逻辑和需求的匹配度:很多运行效果不稳定的问题,本质是代码的实际输出和目标要求存在偏差,刚好在某次运行时因为数据状态巧合匹配了效果,换个数据状态就失效。
- 区分环境残留和代码本身的问题:时好时坏的脚本,大概率和当前运行内存里的DataFrame残留状态有关——两次运行之间如果没有重新初始化df,之前遗留的临时列、修改过的值都会让代码跑通,重新初始化后就会暴露缺失的逻辑。
- 涉及DataFrame的列新增、值修改操作,优先使用
.loc[]的标准索引写法,避免链式索引带来的赋值不生效、报警告的问题。
内容的提问来源于stack exchange,提问作者Nelson Chung
相关产品推荐
相关产品推荐

