如何在分组后的DataFrame列中筛选唯一值数量>1的host_id?
解决方法
你完全不需要先将host_name聚合为列表,直接利用Pandas内置的分组聚合函数就能高效实现需求,避免遍历操作:
方法1:直接筛选符合条件的host_id
先通过分组计算每个host_id对应的唯一host_name数量,再筛选数量大于1的项:
# 计算每个host_id的唯一host_name数量 unique_name_counts = df.groupby('host_id')['host_name'].nunique() # 筛选出唯一名称数大于1的host_id target_host_ids = unique_name_counts[unique_name_counts > 1].index.tolist()
方法2:保留唯一名称详情
如果需要同时查看每个host_id对应的所有唯一名称,可同时聚合数量和唯一值:
# 分组聚合,同时得到唯一名称数量和具体的唯一名称列表 grouped_result = df.groupby('host_id')['host_name'].agg( unique_count='nunique', unique_names='unique' ) # 筛选出唯一名称数大于1的记录 filtered_result = grouped_result[grouped_result['unique_count'] > 1]
为什么这个方法更优?
Pandas的内置聚合函数(如nunique)是底层优化的向量化操作,比先转列表再遍历计算唯一值的方式效率高得多,尤其在数据量较大时,能显著节省内存和计算时间。
内容的提问来源于stack exchange,提问作者Branden Nevius
相关产品推荐
相关产品推荐

