如何按分组删除Pandas DataFrame中指定值首次出现前的所有行

嗨，我来帮你搞定这个分组处理的需求！咱们的目标是对每个iD分组，只保留b列首次出现'E'的行以及之后的所有行，之前的都删掉。下面给你两种可行的方案，按需选用：

方法一：直观的分组apply实现 #

这种方法逻辑清晰，容易理解，适合小数据集或者需要明确看到每步操作的场景：

首先先构造你给出的示例DataFrame：

import pandas as pd

# 构造示例数据
data = {
    'iD': ['c1']*5 + ['c2']*4,
    'a': [2,2,2,2,2,3,3,3,3],
    'b': [3,3,3,'E',3,4,4,'E',4],
    'c': [4,4,4,4,4,5,5,5,5]
}
df = pd.DataFrame(data)

然后定义一个处理单个分组的函数，再用groupby+apply批量处理：

def keep_from_first_e(group):
    # 找到当前分组中b列首次出现'E'的索引
    first_e_index = group[group['b'] == 'E'].index.min()
    # 如果分组里存在'E'，返回从该索引开始的所有行；否则返回原分组（兼容无'E'的情况）
    if pd.notna(first_e_index):
        return group.loc[first_e_index:]
    return group

# 分组处理，group_keys=False避免保留分组键作为索引
result_df = df.groupby('iD', group_keys=False).apply(keep_from_first_e)

方法二：高效的累积标记法 #

如果你的数据集比较大，这种方法性能更好，不需要显式遍历每个分组：

import pandas as pd

# 同样先构造示例数据（和上面一致）
data = {
    'iD': ['c1']*5 + ['c2']*4,
    'a': [2,2,2,2,2,3,3,3,3],
    'b': [3,3,3,'E',3,4,4,'E',4],
    'c': [4,4,4,4,4,5,5,5,5]
}
df = pd.DataFrame(data)

# 对每个iD分组，计算b列是否出现'E'的累积和：第一次出现'E'后，累积和会保持>=1
df['e_has_appeared'] = df.groupby('iD')['b'].apply(lambda x: (x == 'E').cumsum())

# 只保留累积和>=1的行，也就是首次'E'及之后的行，最后删除辅助列
result_df = df[df['e_has_appeared'] >= 1].drop('e_has_appeared', axis=1)

最终结果 #

两种方法都会得到你想要的目标DataFrame：

内容的提问来源于stack exchange，提问作者Puneet Sinha