Pandas提取多状态列每行最后有效状态生成新列及脚本返回NaN问题排查
原脚本问题排查与实现方案
原脚本失效的核心原因
- 向前填充无法识别字符串格式的空值
pandas的ffill仅将原生缺失值(np.nan、pd.NA)判定为待填充对象,表中的无效占位是字符串类型的nan_nan,这类文本会被视为有实际值的有效内容,完全不会被ffill触发填充逻辑。最终ffill处理后的status5列仍然是原本的nan_nan字符串,这个值不在映射字典inverted_rules的键集合中,因此经过map后全列返回NaN。 - 列名引用存在语法笔误
代码中写的df.ffill(axis=1)["status5]未闭合列名的引号,会直接触发语法报错;若运行时隐式修正了引号,也会因为上一条的填充失效问题,无法拿到预期的有效状态值。 - 填充范围未做隔离
直接对全表执行ffill(axis=1)会把非状态列(比如序号列no)也纳入逐行填充范围,既增加无意义的计算开销,也可能因为列类型混杂触发意外的类型转换问题。
可实现目标的修正方案
方案1:在原有ffill逻辑上改造
核心思路是先把字符串空值替换为pandas可识别的原生缺失值,再执行填充:
import pandas as pd import numpy as np # 定义状态分类规则 response_rules = { "approved": ["ifc_approved"], "sub": ["ifc_accepted_w/comment", "ifc_rejected", "ifa_accepted_w/comment"], "tp": ["ifc_nan", "ifa_approved"] } # 生成反向映射字典 inverted_rules = {vv: k for k, v in response_rules.items() for vv in v} # 定位所有状态列 status_cols = [f"status{i}" for i in range(1,6)] # 将字符串nan_nan替换为原生缺失值 df[status_cols] = df[status_cols].replace("nan_nan", np.nan) # 仅对状态列执行逐行向前填充,取每行填充后的最后一个值 df["last_valid_status"] = df[status_cols].ffill(axis=1).iloc[:, -1] # 按规则映射生成最终status列 df["status"] = df["last_valid_status"].map(inverted_rules)
方案2:高效逐行查找最后有效状态
当状态列数量较多时,全量向前填充会产生不必要的计算开销,可以直接从最右侧的状态列往左倒序遍历,找到第一个非空、非占位符的状态值:
def fetch_last_valid(row): # 从status5到status1倒序遍历,跳过占位符和原生空值 for col in reversed(status_cols): val = row[col] if pd.notna(val) and val != "nan_nan": return val return np.nan # 逐行提取最后有效状态后做规则映射 df["status"] = df.apply(fetch_last_valid, axis=1).map(inverted_rules)
两种方案运行后均可得到与预期完全一致的输出结果。
内容的提问来源于stack exchange,提问作者yangyang
相关产品推荐
相关产品推荐

