如何跨多个pandas DataFrame查找指定列值匹配的行

你当前使用的6层嵌套循环时间复杂度为各表行数的乘积，数据量稍大时运行效率极低，基于哈希集合求交集的实现可以将时间复杂度降至各表行数之和，性能提升可达数个量级。

核心思路 #

• 固定提取所有待比对DataFrame的0-5号索引列
• 将每一行的列值转为可哈希的元组，存入对应集合（集合的元素存在性判断时间复杂度为O(1)）
• 计算所有集合的交集，得到在全部DataFrame中都存在的6列值组合
• 回捞目标DataFrame中符合交集取值的行即可

参考代码 #

# 定义需要匹配的列索引
match_cols = [0, 1, 2, 3, 4, 5]

# 为每个DataFrame生成匹配列的行元组集合
df_set_list = [
    set(df.iloc[:, match_cols].apply(tuple, axis=1))
    for df in [df1_sorti, df2, df3, df4, df5, df6]
]

# 计算所有集合的交集，即跨表共有的行取值
common_values = set.intersection(*df_set_list)

# 筛选df1_sorti中匹配的行，和原有逻辑输出目标一致
match_mask = df1_sorti.iloc[:, match_cols].apply(tuple, axis=1).isin(common_values)
final_result = df1_sorti[match_mask]

注意事项 #

• 不需要提前预知匹配行的具体取值，交集计算会自动识别所有跨表共有的行组合
• 返回结果为df1_sorti中的匹配行，可直接通过行索引关联查询其他DataFrame的对应数据
• 该方案会保留所有重复的匹配行，如果需要去重可追加.drop_duplicates(subset=match_cols)处理
• 后续如果需要增减参与匹配的DataFrame，只需要修改列表里的df对象即可，无需调整核心逻辑

内容的提问来源于stack exchange，提问作者Bo_0