如何在Python中高效过滤多条件的大型字典列表？

首先纠正你代码里的一个小问题：Python列表推导式中判断条件用if而非where，正确的基础写法应为：

filtered_data = [
    entry for entry in data
    if entry['age'] > 28 and entry['city'] in ('Nairobi', 'Mombasa')
]

针对超大型列表的过滤优化，以下是实用方案与最佳实践：

1. 用集合优化成员检查速度 #

in操作在元组/列表中是线性查找（O(n)），而集合是哈希查找（O(1)），对于需要频繁判断城市归属的场景，将目标城市转为集合能显著提升性能：

# 预定义集合，避免每次判断时重复创建
target_cities = {'Nairobi', 'Mombasa'}
filtered_data = [entry for entry in data if entry['age'] > 28 and entry['city'] in target_cities]

2. 生成器表达式降低内存占用 #

如果不需要一次性存储所有过滤结果（比如只需遍历处理结果），用生成器表达式替代列表推导式，避免将所有匹配项加载到内存，适合处理GB级别的数据集：

target_cities = {'Nairobi', 'Mombasa'}
filtered_generator = (entry for entry in data if entry['age'] > 28 and entry['city'] in target_cities)

# 按需遍历处理，不占用额外内存存储全量结果
for item in filtered_generator:
    # 执行你的业务逻辑，比如写入文件、统计等
    pass

3. 矢量化处理：用pandas加速超大规模数据 #

当数据集规模达到十万/百万级以上时，纯Python循环的效率会明显不足，pandas的矢量化操作基于C实现，能大幅提升过滤速度：

import pandas as pd

# 将字典列表转为DataFrame
df = pd.DataFrame(data)
# 矢量化条件过滤（逻辑与用&，逻辑或用|，注意括号优先级）
filtered_df = df[(df['age'] > 28) & df['city'].isin(['Nairobi', 'Mombasa'])]
# 如需转回字典列表
filtered_data = filtered_df.to_dict('records')

4. 源头过滤：减少内存加载量 #

如果数据来自外部存储（文件、数据库），尽量在加载阶段就过滤，而非先把全量数据读到内存再处理：

• 数据库查询：直接在SQL语句中加入WHERE age > 28 AND city IN ('Nairobi', 'Mombasa')条件，只加载符合要求的数据
• 大文件读取：用pandas的chunksize分块读取并过滤，避免一次性加载全量文件：

import pandas as pd

chunk_size = 10000  # 每次读取1万条数据
filtered_data = []
for chunk in pd.read_csv('large_dataset.csv', chunksize=chunk_size):
    filtered_chunk = chunk[(chunk['age'] > 28) & chunk['city'].isin(['Nairobi', 'Mombasa'])]
    filtered_data.extend(filtered_chunk.to_dict('records'))

最佳实践总结 #

• 成员判断优先用集合，避免线性查找的性能损耗
• 内存紧张时用生成器替代列表，按需处理结果
• 超大规模结构化数据首选pandas等矢量化库
• 尽可能在数据源头（数据库、文件读取）完成过滤，减少内存负载
• 避免在过滤条件中嵌入复杂计算，提前预处理需要的字段

内容的提问来源于stack exchange，提问作者Wiltord