如何实现仅保留DataFrame某列前X个唯一值的所有行?
高效实现方案
不需要手动逐行遍历做计数跟踪,借助pandas内置的向量化操作即可完成筛选,代码简洁、运行效率远高于Python层面的循环,且天然保留原数据的行顺序,完全匹配示例需求。
实现逻辑
你需要的效果是保留目标列首次出现顺序的前X个唯一值对应的所有行,可以拆成两步完成:
- 提取目标列按原顺序排列的不重复值,截取前X个作为需要保留的值集合
- 筛选DataFrame中目标列属于这个值集合的所有行
可运行代码示例
import pandas as pd # 构造题目中的示例DataFrame df = pd.DataFrame({ 'A': [1, 1, 2, 3, 4, 4], 'B': [2, 2, 3, 4, 5, 2] }) X = 3 # 设定需要保留的A列唯一值数量 # 按原列出现顺序取前X个唯一值 keep_targets = df['A'].unique()[:X] # 完成行筛选 filtered_df = df[df['A'].isin(keep_targets)]
运行后得到的输出完全匹配题目要求:
A B 0 1 2 1 1 2 2 2 3 3 3 4
灵活调整场景
这个实现的筛选逻辑是通用的,只需要根据你选择X个唯一值的规则,调整keep_targets的生成方式即可:
- 如果需要按数值大小选最小的X个唯一值:把取值部分改成
sorted(df['A'].unique())[:X] - 如果需要按值的出现频次选最高的X个唯一值:把取值部分改成
df['A'].value_counts().index[:X] - 如果需要按数值大小选最大的X个唯一值:把取值部分改成
sorted(df['A'].unique(), reverse=True)[:X]
性能对比
你最初想到的遍历统计方案是Python层面逐行判断,虽然时间复杂度同样是O(n),但循环的常数项很高;而上面用到的Series.unique()和isin()都是基于NumPy的C层向量化实现,处理十万、百万行级别的大表时,运行速度通常比手写循环快10~100倍,也更少出现边界判断的bug。
内容的提问来源于stack exchange,提问作者Jacky Chu
相关产品推荐
相关产品推荐

