Python如何高效筛选字典列表中最大count值对应的code?
如何更高效地提取列表中所有最大值对应的字段值
我想了解是否有更优的方法可以找出列表中所有最大值对应的元素。
示例场景
现有一个字典列表,每个元素包含名为info的key,对应值同样为字典结构,如下方代码所示。我需要从中找出最大的count值,再提取所有符合该最大值的元素对应的code字段值。
我目前的实现代码如下,但在处理超大规模列表时执行耗时较高:
codes = [{"code": 1, "info": {"status": "running", "count": 4}}, {"code": 2, "info": {"status": "running", "count": 1}}, {"code": 3, "info": {"status": "running", "count": 2}}, {"code": 4, "info": {"status": "running", "count": 4}}, {"code": 5, "info": {"status": "running", "count": 4}} ] count_max = 0 filtered_codes = [] for i in range(len(codes)): if codes[i]['info']['count'] == count_max: filtered_codes.append(codes[i]['code']) if codes[i]['info']['count'] > count_max: filtered_codes.clear() filtered_codes.append(codes[i]['code']) count_max = codes[i]['info']['count'] print(filtered_codes)
输出结果 :
[1, 4, 5] # 1、4、5为count等于最大值4的元素对应的code值
请问是否有更好的实现方式?比如使用filter、lambda、max等内置函数实现?
补充说明
之前有人给出如下代码作为答案,后续被删除:
max_count = max(info["info"]["count"] for info in codes) filtered_codes = [val["code"] for val in filter(lambda x: x["info"]["count"] == max_count, codes)]
我在长度为1000000的列表上对两种方案做了性能测试:
- 第一种自行实现的方案耗时:1.4539954662322998s
- 第二种内置函数实现的方案耗时:0.4440000057220459s
请问第二种方案是当前场景下的最优解吗?
回答
结论先行
如果仅使用Python标准库实现,第二种方案已经是当前场景下的最优解,性能和可读性都达标。
性能差异原因
你自己写的第一种方案性能差,核心原因是所有循环逻辑、条件判断、列表操作都在Python解释器层面执行,每一步都有解释器的额外开销;而第二种方案用到的max、生成器表达式、filter、列表推导都是C语言实现的内置逻辑,避开了Python层的循环开销,所以性能能高出3倍以上。
可优化的调整点
- 可读性优化(性能无损失)
可以把filter+lambda的逻辑直接整合进列表推导,写法更简洁易懂,性能和原第二种方案几乎没有差异:
max_count = max(x["info"]["count"] for x in codes) filtered_codes = [x["code"] for x in codes if x["info"]["count"] == max_count]
- 超大数据量下的极致优化(需引入第三方库)
如果你的数据量达到千万级甚至更高,可以用pandas的向量化操作进一步提升性能,向量化操作会一次性处理批量数据,比两次遍历的开销更低:
import pandas as pd # 转换为DataFrame df = pd.DataFrame(codes) # 提取count字段 df['count'] = df['info'].map(lambda x: x['count']) # 筛选最大值对应的code max_count = df['count'].max() filtered_codes = df.loc[df['count'] == max_count, 'code'].tolist()
注意:小数据量下pandas有初始化开销,反而会比标准库方案慢,只有超大规模数据下才有明显优势。
内容的提问来源于stack exchange,提问作者LiquidDeath
相关产品推荐
相关产品推荐

