如何基于另一dataframe的itemId值高效删除dataframe指定行

最优实现方案 #

直接用isin()结合集合哈希查找实现，这是大数据量下性能最高的方案，不需要做表合并操作，开销极低：

# 提取df2中所有合法的itemId，转为集合后单次查找时间复杂度为O(1)
valid_items = set(df_2['itemId'])
# 布尔索引过滤df1，仅保留itemId在合法集合中的行，reset_index可根据需求选择是否添加
result_df = df_1[df_1['itemId'].isin(valid_items)].reset_index(drop=True)

方案优势 #

• 性能远高于合并再删列的方案：无需执行多表连接计算，也不用处理冗余字段，整体时间复杂度仅为O(len(df_1) + len(df_2))，常数项极低
• 内存占用极小：仅需存储df2去重后的itemId集合，哪怕df2数据量很大也不会占用过多内存
• 完全适配你的场景：哪怕df1中itemId重复次数极高，也不会影响查找效率，所有判断都走哈希映射直接返回结果

如果你更习惯用关联操作实现，也可以用仅保留关联键的内连接实现，性能略低于上面的方案，但也比关联全表再删列好：

result_df = df_1.merge(df_2[['itemId']], on='itemId', how='inner')

内容的提问来源于stack exchange，提问作者futuredataengineer