如何基于阈值删除多索引DataFrame中过长会话的行？

针对你遇到的问题，这里有两种简洁高效的方法来过滤掉会话行数超过指定阈值的记录，完全适配你的多索引DataFrame场景：

方法一：使用groupby + transform快速标记并筛选 #

这种方法会给每行数据临时添加一个对应会话的计数列，再基于这个列做过滤，逻辑直观易懂：

import pandas as pd

# 假设你的原始DataFrame名为df，设置阈值为3
threshold = 3

# 为每行添加所属会话的记录数
df['session_row_count'] = df.groupby('sid')['sid'].transform('count')

# 筛选出会话行数不超过阈值的记录，并删除临时列
filtered_df = df[df['session_row_count'] <= threshold].drop('session_row_count', axis=1)

方法二：先筛选有效会话ID再过滤数据 #

这种方法先统计所有会话的行数，提取出符合条件的会话ID列表，再用这个列表去过滤原始数据，在大数据量下性能更优：

threshold = 3

# 统计每个会话的行数，筛选出行数<=阈值的会话ID
valid_session_ids = df['sid'].value_counts()[df['sid'].value_counts() <= threshold].index

# 仅保留有效会话的记录
filtered_df = df[df['sid'].isin(valid_session_ids)]

结果验证 #

两种方法都会得到你期望的结果：删除sid=1（共5条记录，超过阈值3）的所有行，保留sid=2（1条）和sid=3（2条）的记录，完美解决转置/透视时的性能问题。

内容的提问来源于stack exchange，提问作者S44