如何高效筛选DataFrame中与另一DataFrame列无序匹配的行？

这是个非常典型的大数据量下的DataFrame匹配需求，完全不用逐行迭代——pandas本身就有高效的向量化操作可以搞定，我给你一步步拆解最优方案：

核心思路 #

因为A、B列的数值顺序无关，我们的核心是把每行的A、B转换成唯一的无序标识（比如排序后的元组），这样不管顺序如何，相同的数值配对都会得到完全一致的标识。然后利用集合的O(1)快速查找特性，就能高效筛选出符合条件的行。

分步实现（基础版，易理解） #

首先先构造示例数据方便你测试：

import pandas as pd

# 第一个DataFrame
df1 = pd.DataFrame({
    'A': [4,5,2,4,5],
    'B': [2,7,6,6,2],
    'C': [320,400,300,100,250],
    'D': [700,800,550,300,360]
})

# 第二个DataFrame
df2 = pd.DataFrame({
    'A': [2,5,2],
    'B': [4,7,5]
})

1. 生成无序配对标识 #

给两个DataFrame的A、B列生成排序后的元组作为配对键，这样(4,2)和(2,4)会被转换成同一个键(2,4)：

# 给df1添加配对键列
df1['ab_pair'] = df1[['A', 'B']].apply(lambda x: tuple(sorted(x)), axis=1)

# 给df2生成配对键并转成集合（集合的查找速度远快于列表）
valid_pairs = set(df2[['A', 'B']].apply(lambda x: tuple(sorted(x)), axis=1))

2. 筛选符合条件的行 #

用isin()方法快速筛选，最后删除临时的配对键列：

# 筛选配对键在有效集合中的行
result = df1[df1['ab_pair'].isin(valid_pairs)].drop('ab_pair', axis=1)

# 查看结果
print(result)

运行后输出的就是你要的预期结果：

A  B    C    D
0  4  2  320  700
1  5  7  400  800
4  5  2  250  360

进阶优化版（超大数据量适用） #

如果你的数据量特别大（比如百万级、千万级），可以用numpy的底层排序操作来替代pandas的apply，速度会更快——因为numpy是C语言实现的批量操作，比Python层面的apply效率高很多：

import numpy as np

# 用numpy对A、B列排序，生成配对数组
df1_ab = np.sort(df1[['A', 'B']].values, axis=1)
df2_ab = np.sort(df2[['A', 'B']].values, axis=1)

# 把df2的配对转成集合
valid_pairs_np = set(map(tuple, df2_ab))

# 生成筛选掩码并过滤
mask = [tuple(row) in valid_pairs_np for row in df1_ab]
result_np = df1[mask]

为什么这个方法高效？ #

• 完全避免了逐行迭代的O(n*m)时间复杂度，集合的查找是O(1)，整体时间复杂度是O(n + m)
• 不管是pandas的apply还是numpy的排序，都是批量向量化操作，比手动循环快几个数量级
• 内存占用也很低，只需要存储配对键的集合，不需要额外的大内存开销

内容的提问来源于stack exchange，提问作者Mohammad.sh