如何从后往前读取DataFrame并用Pandas移除指定列的递增行？

问题描述 #

我有一段生成折线图的代码，现在需要从后往前读取对应的DataFrame，实现移除指定列中递增行的需求。先看一下我的示例代码和生成的数据：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 生成示例数据
x = np.arange(1, 101, 1)
y1 = np.linspace(0, 1000, 50)
y2 = np.linspace(500, 2000, 50)
y = np.concatenate((y1, y2))
data = np.asmatrix([x, y]).T
df = pd.DataFrame(data, columns=['x', 'y'])  # 给列命名方便操作

# 生成原始图表
fig, ax = plt.subplots(figsize=(12,8))
ax.plot(df['x'], df['y'], 'r')
plt.gca().invert_yaxis()
plt.show()

这段代码生成的y列前50行是从0递增到1000，后50行是从500递增到2000。我想要从后往前遍历，把y列中**比前一行值大（递增）**的行移除，最终保留递减或者持平的行。

解决方案 #

要实现这个需求，核心是从后往前遍历索引（避免删除行后索引错乱影响后续判断），逐行检查指定列的数值变化，符合递增条件就删除该行。具体步骤如下：

1. 先复制原DataFrame，避免修改原始数据（如果不需要保留原数据可以跳过这步）
2. 从最后一行索引开始，倒序遍历到第2行（因为要和前一行对比）
3. 对每一行，检查当前行的目标列值是否大于前一行的值，若是则删除当前行

下面是具体的实现代码：

# 复制原DataFrame，避免修改原始数据
filtered_df = df.copy()

# 指定要检查的列
target_col = 'y'

# 从后往前遍历索引（从最后一行到第2行，索引从99到1）
for idx in range(len(filtered_df)-1, 0, -1):
    # 检查当前行的目标列值是否大于前一行
    if filtered_df.loc[idx, target_col] > filtered_df.loc[idx-1, target_col]:
        filtered_df.drop(idx, inplace=True)

# 重置索引（可选，让索引连续）
filtered_df.reset_index(drop=True, inplace=True)

# 查看处理后的结果
print(filtered_df.tail(10))

# 绘制处理后的图表对比
fig, (ax1, ax2) = plt.subplots(2, 1, figsize=(12,12))
ax1.plot(df['x'], df['y'], 'r', label='原始数据')
ax1.invert_yaxis()
ax1.legend()

ax2.plot(filtered_df['x'], filtered_df['y'], 'b', label='处理后数据')
ax2.invert_yaxis()
ax2.legend()
plt.show()

代码解释 #

• 倒序遍历：使用range(len(filtered_df)-1, 0, -1)生成从最后一个索引到1的序列，这样即使删除了某一行，前面的索引不会受到影响，遍历逻辑不会出错。
• 条件判断：filtered_df.loc[idx, target_col] > filtered_df.loc[idx-1, target_col]判断当前行是否比前一行递增，符合条件就用drop删除该行。
• 重置索引：处理完后索引可能不连续，用reset_index(drop=True)可以让索引重新从0开始，方便后续操作。

用你的示例数据测试的话，处理后的y列会保留前50行的末尾（1000），然后后50行中只有比前一行小的行才会被保留，最终得到的是一个符合你需求的序列。

内容的提问来源于stack exchange，提问作者Eric Kim