Python如何按字段值高效筛选对象集合并实现分组操作

基础筛选的正确写法 #

你给出的列表推导式存在属性引用的小错误，修正后的基础写法如下：

from dataclasses import dataclass

@dataclass
class Person:
    name: str
    salary: float
    is_boss: bool

collection = [Person("Jack", 50000, False), Person("Jane", 120000, True)]
target_salary = 100000
# 修正后的列表筛选逻辑
filtered_collection = [x for x in collection if x.salary < target_salary]

注意：如果筛选逻辑仅需执行1-2次，不要过度优化：Python原生列表遍历是C层实现的优化逻辑，每秒可处理百万级对象，十万级数据的全量遍历耗时通常在几毫秒级别，完全能满足常规需求。

高频筛选场景的性能优化 #

如果需要反复对集合做不同维度的筛选，提前为常用筛选字段构建索引，可以把查询复杂度从O(n)降到更低：

• 针对需要精确匹配的字段（例如is_boss）：构建字典哈希索引，键为字段取值，值为对应该字段值的所有对象列表，查询复杂度为O(1)
• 针对需要做范围比较的字段（例如salary）：将字段值与对应对象按字段值排序存储，查询时用二分法定位阈值边界，查询复杂度为O(logn)

索引构建与查询示例代码：

from collections import defaultdict
from bisect import bisect_left

# 初始化索引
is_boss_index = defaultdict(list)  # 精确匹配索引
salary_sorted = []  # 薪资范围查询的有序存储结构

# 单次遍历完成所有索引构建
for p in collection:
    is_boss_index[p.is_boss].append(p)
    salary_sorted.append((p.salary, p))

# 对薪资索引做排序预处理
salary_sorted.sort(key=lambda x: x[0])
salary_value_list = [item[0] for item in salary_sorted]

# 1. 精确查询所有老板，O(1)复杂度
all_boss = is_boss_index[True]
# 2. 查询薪资低于100000的所有人员，O(logn)复杂度
split_idx = bisect_left(salary_value_list, target_salary)
salary_lt_target = [item[1] for item in salary_sorted[:split_idx]]

如果数据量达到百万级以上、需要频繁做多条件组合查询，也可以将数据转换为pandas DataFrame存储，依托向量化运算获得更高的筛选性能。

分组+筛选的实现方案 #

针对你提到的「按is_boss字段分组、同时按salary阈值筛选」的需求，不需要特意给对象实现比较运算，根据使用场景选对应方案即可：

1. 单次处理场景：直接单次遍历同时完成筛选和分组，性能远高于「排序+itertools.groupby」的组合

group_result = defaultdict(list)
threshold = 100000
for p in collection:
    # 先判断筛选条件，符合要求再归入对应分组
    if p.salary < threshold:
        group_result[p.is_boss].append(p)

2. 高频查询场景：直接复用之前预构建的哈希索引、有序索引，在对应分组的有序列表中用二分法定位边界即可，不需要全量遍历集合。

关于itertools.groupby的注意事项：该API强制要求输入序列必须按分组键提前排序，否则会将键值相同但位置不连续的元素拆分为多个独立分组。如果不想额外承担排序开销，直接用字典遍历分组是更简单、容错性更高的选择。

内容的提问来源于stack exchange，提问作者Sengiley