如何在Pandas中根据多列组合值删除DataFrame行
多列组合值匹配删除DataFrame行的实现方法
嘿,这个需求太常见了!咱有两种实用的方法可以搞定,适配不同的数据规模场景:
方法一:将多列转为元组序列(简洁直观)
这种思路和你单列用isin的逻辑一脉相承,只是把需要匹配的多列合并成元组,再判断是否在移除列表里:
import pandas as pd # 你的示例数据 data = { 'client': [1,2,3,4,5], 'account_type': [2,2,3,2,4], 'description': ['photographer','banker','banker','journalist','journalist'] } df = pd.DataFrame(data) remove_list = [(2, 'journalist'), (3, 'banker')] # 把指定列转成元组序列,生成匹配掩码 mask = df[['account_type', 'description']].apply(tuple, axis=1).isin(remove_list) # 取反保留不需要删除的行 df_filtered = df[~mask] print(df_filtered)
运行后就能得到你期望的输出,这种写法代码简洁、理解成本低,非常适合中小规模的数据集。
方法二:用Merge实现(高效适配大数据集)
如果你的DataFrame数据量很大,apply的逐行操作可能效率偏低,这时候用merge的向量化操作会快很多:
# 把移除列表转为临时DataFrame,列名要和原df对应 remove_df = pd.DataFrame(remove_list, columns=['account_type', 'description']) # 左连接原df和临时df,添加_merge列标记数据来源 merged_df = df.merge(remove_df, on=['account_type', 'description'], how='left', indicator=True) # 只保留仅来自原df的行(即不在移除列表里的行),最后删除标记列 df_filtered = merged_df[merged_df['_merge'] == 'left_only'].drop(columns=['_merge']) print(df_filtered)
这种方法的优势是底层用了pandas的向量化优化,处理十万级以上的数据时速度会明显快于apply,而且扩展到更多列也超简单——只要在on参数里添加对应的列名就行。
内容的提问来源于stack exchange,提问作者AnarKi
相关产品推荐
相关产品推荐

