如何高效地在指定误差阈值下比较两个Pandas DataFrame？

我明白你的需求——默认的df.compare()会把所有微小差异都列出来，但你只想关注绝对差异超过设定阈值的部分，而且当前用melt+merge的方法在大数据集上跑得太慢，对吧？下面给你两种更高效的方案，比你当前的方法快很多：

方案一：基于原生compare结果过滤（简单易读） #

既然compare已经帮你定位了所有有差异的行和列，我们只需要在这个结果基础上，筛选出差异超过阈值的条目就行，不用全量处理整个DataFrame：

import pandas as pd

threshold = 0.5
df1 = pd.DataFrame({"A": [1,1,1], "B": [2,2,2], "C": [3,3,3]})
df2 = pd.DataFrame({"A": [1,1,1], "B": [2,2.2,2], "C": [3,3,3]})

# 先获取默认的比较结果
comp_result = df1.compare(df2, result_names=('df1', 'df2'))
# 计算每行的绝对差异，筛选超过阈值的行
filtered_result = comp_result[abs(comp_result['df1'] - comp_result['df2']) > threshold]
print(filtered_result)

运行后会得到空DataFrame（因为2和2.2的差异只有0.2，小于0.5），完全符合你的预期。这种方法逻辑简单，而且只处理有差异的行，比全量melt+merge高效得多。

方案二：用Numpy向量化运算（大数据集首选） #

如果你的DataFrame特别大，用Numpy的底层数组操作会更快——向量化运算避免了Pandas的行级循环，内存和时间消耗都更低：

import pandas as pd
import numpy as np

threshold = 0.5
df1 = pd.DataFrame({"A": [1,1,1], "B": [2,2,2], "C": [3,3,3]})
df2 = pd.DataFrame({"A": [1,1,1], "B": [2,2.2,2], "C": [3,3,3]})

# 先确保两个DataFrame结构对齐（索引、列一致）
df1_aligned, df2_aligned = df1.align(df2, fill_value=0)
# 计算绝对差异矩阵
abs_diff = np.abs(df1_aligned - df2_aligned)
# 找出所有超过阈值的位置
mask = abs_diff > threshold
rows, cols = np.where(mask)

# 构造最终结果DataFrame
result = pd.DataFrame({
    '行索引': df1_aligned.index[rows],
    '列名': df1_aligned.columns[cols],
    'df1值': df1_aligned.values[rows, cols],
    'df2值': df2_aligned.values[rows, cols],
    '绝对差异': abs_diff.values[rows, cols]
})
print(result)

这种方法直接操作数组，速度是行级操作的几十倍，非常适合百万级以上的大数据集。

为什么你的原方法慢？ #

melt+merge会把整个宽表转成长表，然后做全量合并，这会生成非常大的中间DataFrame，对于大数据集来说，内存占用和计算时间都会飙升。而上面的两种方法都是只聚焦于有差异的部分，避免了不必要的计算。

额外注意事项 #

• 如果两个DataFrame的索引或列不一致，一定要先用align()对齐，否则会产生NaN值影响计算；
• 如果DataFrame里有非数值列，要先筛选出数值列再计算差异（比如df1.select_dtypes(include=np.number)）。

备注：内容来源于stack exchange，提问作者Paulo Marques