如何在Pandas中实现类strip行为的首尾NaN行移除

嘿，这个场景我太熟了！之前用dropna()的时候也踩过这个坑——本来只想去掉首尾那些没用的连续NaN行，结果连中间需要保留的带NaN的行也一起没了，简直气人😤。别担心，我有两个简洁高效的方法帮你实现这个类似字符串strip()的效果，完美满足你的需求！

方法一：用内置索引方法快速定位（针对单列场景） #

Pandas其实提供了直接定位首尾有效行的方法：first_valid_index()和last_valid_index()，专门用来找某一列中第一个和最后一个非NaN值的索引。我们只需要用这两个索引来切片DataFrame就行，代码超简洁：

import numpy as np
import pandas as pd

df1 = pd.DataFrame({
    'a': [1, 2, 3, 4, 5, 6, 7],
    'b': [np.NaN, 2, np.NaN, 4, 5, np.NaN, np.NaN],
})

# 找到列b中第一个和最后一个非NaN的行索引
first_valid = df1['b'].first_valid_index()
last_valid = df1['b'].last_valid_index()

# 截取目标范围的行
result = df1.loc[first_valid:last_valid]
print(result)

运行结果完全符合你的预期：

a    b
1   2  2.0
2   3  NaN
3   4  4.0
4   5  5.0
5   6  NaN

这个方法速度超快，因为是Pandas底层优化过的操作，几乎没有额外开销。

方法二：布尔掩码实现通用场景（支持多列判断） #

如果你需要更灵活的判断逻辑（比如只要任意一列有非NaN就保留中间行，或者所有列都非NaN才算有效行），可以用布尔掩码的方式来实现：

# 先标记列b中非NaN的行（如果要多列，就改成 df1.notna().any(axis=1) 或 all(axis=1)）
mask = df1['b'].notna()

# 生成前向掩码：从第一行开始，只要出现过非NaN，后续所有行都标记为True
forward_mask = mask.cummax()
# 生成后向掩码：从最后一行往前，只要出现过非NaN，前面所有行都标记为True
backward_mask = mask[::-1].cummax()[::-1]

# 两个掩码的交集就是我们要保留的行
result = df1[forward_mask & backward_mask]
print(result)

这个方法的好处是通用性极强，你可以根据需求调整mask的生成规则：

• 只要任意一列有非NaN值就算有效：mask = df1.notna().any(axis=1)
• 只有所有列都非NaN才算有效：mask = df1.notna().all(axis=1)

执行后得到的结果和方法一完全一致，同样是向量化操作，效率拉满。

为什么不用循环？ #

可能有人会想到用循环去遍历每行找首尾位置，但完全没必要！Pandas的向量化操作比循环快几个数量级，尤其是当你的DataFrame数据量很大的时候，这种方法的优势会特别明显。

备注：内容来源于stack exchange，提问作者Little Bobby Tables