Pandas中如何区分替换孤立NaN与全类别缺失NaN值

实现逻辑 #

完全基于Pandas原生向量化运算实现，无需逐时间点的显式循环，在900+类别、长时序的大规模数据集上运行效率远高于手写遍历逻辑，核心判断规则拆解为两步：

• 按time_idx完成分组，识别出组内所有value值均为NaN的时间点，这类时间点下的所有记录值统一替换为-1
• 剩余存在有效非NaN值的时间分组中，所有零散的NaN值统一替换为0

可直接复用的代码 #

import pandas as pd
import numpy as np

# 生成全NaN分组的布尔掩码：标记所有值全为缺失的time_idx
# 用原生count聚合计算每个分组的非空值数量，无Python层lambda开销，效率最高
all_nan_time_mask = data.groupby("time_idx")["value"].transform("count").eq(0)

# 第一步：把全缺失时间点的所有值设为-1
data.loc[all_nan_time_mask, "value"] = -1

# 第二步：剩余的零散缺失值统一填充为0
data["value"] = data["value"].fillna(0)

方案优势 #

• 全程无Python层的逐行/逐时间循环，所有分组判断、值替换操作都由Pandas底层C引擎执行，在万行级以上的数据集上运行速度比普通显式循环实现快1~2个数量级
• 不需要提前手动统计总类别数、不需要筛选所有NaN行再逐次匹配索引，用原生count聚合统计非空值数量，不会受数值本身的影响，边界场景的判断逻辑更可靠，不容易出现索引匹配错误、数值误判等问题
• 对比列表推导这类Python层遍历的实现，这种原生分组运算的方案不需要逐次拼接索引、逐行判断缺失状态，内存占用和运行耗时不会随类别数、时序长度的增长出现明显劣化，完全适配900+类别的数据规模

示例验证效果 #

针对提供的测试输入运行上述代码，输出结果和预期完全一致：

• time_idx=0分组内4个类别的值全为NaN，触发全缺失掩码，所有值被替换为-1
• time_idx=1分组内存在2个有效非NaN值，不属于全缺失组，组内剩余2个NaN值被替换为0
• time_idx=2分组无缺失值，所有值保持原始不变

内容的提问来源于stack exchange，提问作者Ryan Dempsey