Python中查找DataFrame匹配列值条目的最优搜索方法

针对数百行规模的未排序DataFrame查找完全匹配目标值序列的行，相比逐列校验的暴力实现，有两类性能高得多的实现方式，适配不同的查询场景：

单次查询场景：原生向量化匹配 #

这是最通用、无额外预处理成本的最优方案，所有比较逻辑在pandas底层C层实现，完全跳过Python层循环，性能是逐列暴力循环的数十到数百倍，哪怕是十万行级数据也能毫秒级返回结果。
实现代码如下：

# 目标值序列需和DataFrame列顺序一一对应
target_row = [3,2,5,6,2]
# 生成逐元素匹配的布尔掩码，再筛选所有列都匹配成功的行
match_result = df[(df == target_row).all(axis=1)]

注意：如果只需要匹配部分指定列，只要把代码中df替换为对应列的子集即可，无需修改其他逻辑。

多次重复查询场景：预构建哈希索引 #

如果你需要对同一个静态DataFrame做上百次不同目标行的查找，可以提前做一次预处理，把每一行转为不可变元组作为键、行索引作为值存入字典，后续所有查询都可以做到O(1)时间复杂度返回结果，查询性能比向量化方案更高。
实现代码如下：

# 仅需在第一次查询前执行一次，构建行哈希映射
row_hash_map = {tuple(row.values): idx for idx, row in df.iterrows()}

# 后续查询直接通过字典定位
target_tuple = tuple([3,2,5,6,2])
match_idx = row_hash_map.get(target_tuple)
match_result = df.loc[[match_idx]] if match_idx is not None else df.iloc[0:0]

注意：该方案仅适用于静态DataFrame，如果后续对DataFrame做了增、删、改行的操作，必须同步更新哈希映射，否则会出现匹配错误。

不推荐的写法 #

• 自行编写Python层循环逐行、逐列做值比较：这类写法每一次判断都要走Python对象调度，性能极差
• 调用df.iterrows()遍历逐行比对：这是pandas场景下性能垫底的实现方式，数据量稍大延迟就会明显升高

内容的提问来源于stack exchange，提问作者Defqon