如何移除Pandas DataFrame中不符合递增规则的异常行

先构造和你示例一致的测试数据：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'value': [1, np.nan, np.nan, 2, np.nan, np.nan, np.nan, 4, np.nan, np.nan, 3, 3, np.nan, np.nan, np.nan, 5]
})

核心思路是定位破坏递增趋势的非空行，再删除它们：

# 筛选出所有value非空的行
non_null_rows = df[df['value'].notna()]

# 找出值小于前一个非空值的行索引
invalid_indices = non_null_rows[non_null_rows['value'].shift(1) > non_null_rows['value']].index

# 删除这些违规行
cleaned_df = df.drop(invalid_indices)

代码说明 #

1. 先提取非空行：空值不影响递增规则，只需要检查有数值的行是否符合要求
2. 用shift(1)把前一行的value值对齐到当前行，对比判断当前值是否小于前一个值，标记这些行的索引
3. 最后用drop方法删除违规索引对应的行，得到符合预期的DataFrame

内容的提问来源于stack exchange，提问作者Winston