You need to enable JavaScript to run this app. Pandas提取多状态列每行最后有效状态生成新列及脚本返回NaN问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Pandas提取多状态列每行最后有效状态生成新列及脚本返回NaN问题排查

原脚本问题排查与实现方案

原脚本失效的核心原因

  • 向前填充无法识别字符串格式的空值
    pandas的ffill仅将原生缺失值(np.nan、pd.NA)判定为待填充对象,表中的无效占位是字符串类型的nan_nan,这类文本会被视为有实际值的有效内容,完全不会被ffill触发填充逻辑。最终ffill处理后的status5列仍然是原本的nan_nan字符串,这个值不在映射字典inverted_rules的键集合中,因此经过map后全列返回NaN。
  • 列名引用存在语法笔误
    代码中写的df.ffill(axis=1)["status5]未闭合列名的引号,会直接触发语法报错;若运行时隐式修正了引号,也会因为上一条的填充失效问题,无法拿到预期的有效状态值。
  • 填充范围未做隔离
    直接对全表执行ffill(axis=1)会把非状态列(比如序号列no)也纳入逐行填充范围,既增加无意义的计算开销,也可能因为列类型混杂触发意外的类型转换问题。

可实现目标的修正方案

方案1:在原有ffill逻辑上改造

核心思路是先把字符串空值替换为pandas可识别的原生缺失值,再执行填充:

import pandas as pd
import numpy as np

# 定义状态分类规则
response_rules = {
    "approved": ["ifc_approved"],
    "sub": ["ifc_accepted_w/comment", "ifc_rejected", "ifa_accepted_w/comment"],
    "tp": ["ifc_nan", "ifa_approved"]
}
# 生成反向映射字典
inverted_rules = {vv: k for k, v in response_rules.items() for vv in v}

# 定位所有状态列
status_cols = [f"status{i}" for i in range(1,6)]

# 将字符串nan_nan替换为原生缺失值
df[status_cols] = df[status_cols].replace("nan_nan", np.nan)

# 仅对状态列执行逐行向前填充,取每行填充后的最后一个值
df["last_valid_status"] = df[status_cols].ffill(axis=1).iloc[:, -1]

# 按规则映射生成最终status列
df["status"] = df["last_valid_status"].map(inverted_rules)

方案2:高效逐行查找最后有效状态

当状态列数量较多时,全量向前填充会产生不必要的计算开销,可以直接从最右侧的状态列往左倒序遍历,找到第一个非空、非占位符的状态值:

def fetch_last_valid(row):
    # 从status5到status1倒序遍历,跳过占位符和原生空值
    for col in reversed(status_cols):
        val = row[col]
        if pd.notna(val) and val != "nan_nan":
            return val
    return np.nan

# 逐行提取最后有效状态后做规则映射
df["status"] = df.apply(fetch_last_valid, axis=1).map(inverted_rules)

两种方案运行后均可得到与预期完全一致的输出结果。


内容的提问来源于stack exchange,提问作者yangyang

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 05:36:07