Pandas 宽表转换:按行提取非NaN值对应列名与值的实现
Pandas 宽转长高效实现方案
针对你提出的逐行提取单非空值、转换为两列结构的需求,由于已经明确约束每行最多存在1个非NaN值,完全不需要逐行遍历处理,直接使用Pandas内置的向量化宽转长逻辑即可实现,性能远高于循环方案。
核心实现代码
import pandas as pd import numpy as np # 原始数据复现 df = pd.DataFrame({ 'alpha': [1, np.nan, np.nan, np.nan], 'bravo': [np.nan, np.nan, np.nan, -1], 'charlie': [np.nan, np.nan, np.nan, np.nan], 'delta': [np.nan, 1, np.nan, np.nan], }) # 转换逻辑 result = ( df.stack() .rename_axis(['origin_row', 'position']) .reset_index() .set_index('origin_row')[['position', 0]] .rename(columns={0: 'value'}) .reindex(df.index) )
逻辑说明
- 你最初想到的逐行遍历方案,本质上就是手动实现「筛选行内非空值、提取对应列名、映射值」的逻辑,而上述方案直接调用Pandas内置的
stack()宽转长能力,自动完成这些操作 stack()默认会过滤所有全空的单元格,只保留非空值对应的原列名和数值,完全匹配逐行定位非空值的规则- 所有运算都在C/NumPy层面完成,没有Python层的逐行循环,百万行级数据的处理效率比行遍历高1~2个数量级
- 最后通过
reindex(df.index)做索引对齐,自动为原本全空的行补全position和value均为NaN的记录,和你预期的输出结构完全对齐 - 由于你已经明确保证每行最多1个非空值,转换后不会出现单行对应多条记录的情况,不需要额外做去重、聚合处理
输出验证
运行上述代码得到的结果和你需要的结构完全一致:
position value 0 alpha 1.0 1 delta 1.0 2 NaN NaN 3 bravo -1.0
内容的提问来源于stack exchange,提问作者Griffen Thoma
相关产品推荐
相关产品推荐

