如何提取DataFrame所有列的第一个非空/非缺失单元格的值
Pandas提取DataFrame每列首个非空值方案
适用场景
你有一个多列DataFrame,需要逐列提取第一个非空单元格的值,最终输出仅包含这些值的单行新DataFrame。
实现代码
基础版(无全空列时使用)
核心调用pandas内置的first_valid_index()方法实现需求,适配数百列的大数据量场景,直接替换代码中df为你自己的DataFrame变量即可:
import pandas as pd import numpy as np result = df.apply(lambda col: col.loc[col.first_valid_index()]).to_frame().T
兼容版(适配存在全空列的场景)
如果你的数据可能存在某列所有值均为空的情况,用下面的优化版本避免报错:
def get_first_non_empty(col): first_idx = col.first_valid_index() return col.loc[first_idx] if first_idx is not None else np.nan result = df.apply(get_first_non_empty).to_frame().T
输出说明
执行后得到的result就是符合要求的单行DataFrame,每列的值对应原DataFrame同列的首个非空值。如果需要自定义行索引,可以额外添加如下代码:
result.index = ["first_non_empty_value"]
测试验证示例
我们用你描述的场景构造测试数据验证效果:
# 构造测试数据:日期索引,trade1、trade2列包含前置空值 date_index = pd.date_range(start="2021-01-01", end="2021-04-01", freq="MS") df = pd.DataFrame( { "trade 1": [np.nan, 1.15, 1.22, 1.28], "trade 2": [np.nan, np.nan, 1.31, 1.37] }, index=date_index ) # 执行核心逻辑 result = df.apply(lambda col: col.loc[col.first_valid_index()]).to_frame().T print(result)
运行后输出:
trade 1 trade 2 2021-02-01 1.15 1.31
和你预期的输出完全一致。
内容的提问来源于stack exchange,提问作者gellis
相关产品推荐
相关产品推荐

