pandas dataframe中同列标记为-1的缺失值用下一个正值填充方法
解决方案
核心实现逻辑
- 第一步:先将标记为-1的缺失值统一替换为pandas可识别的空值类型,方便调用内置向量化方法
- 第二步:调用
bfill()(后向填充)方法,自动将空值替换为同列后续第一个非空的正值
完整代码示例
import pandas as pd import numpy as np # 1. 将-1替换为标准空值 df = df.replace(-1, np.nan) # 2. 按列执行后向填充,自动取后续第一个正值填充前面的空值 df = df.bfill(axis=0) # 可选补充:如果部分列末尾全为-1导致填充后仍有空值,可自定义默认值填充,比如填充为0 # df = df.fillna(0)
性能说明
replace和bfill都是pandas底层基于C实现的向量化操作,没有Python层的循环开销,千万级行规模的DataFrame也可以在秒级完成处理,完全适配大规模数据的处理需求。
原shift方法失效原因
df['col'].shift(1)仅能实现逐行平移一位的逻辑,只能处理单个连续-1的场景,遇到多个连续-1或者随机分布的-1时无法覆盖所有情况。后向填充方法会自动向后遍历直到找到第一个非空值,不受连续-1的数量限制。
内容的提问来源于stack exchange,提问作者vk087
相关产品推荐
相关产品推荐

