如何正确实现两个DataFrame间的SQL MINUS（EXCEPT）等价查询

你当前使用的merge代码逻辑本身和SQL EXCEPT的语义存在本质偏差：

1. 代码仅对df2做了去重，未对df1做整行去重，不符合EXCEPT对两个源查询结果先去重再计算差集的规则
2. 代码采用how='right'的右连接方式，本质是保留右侧df2去重后的所有行，标记df1的匹配状态，根本不是计算“df1存在、df2不存在的行”的差集逻辑
3. 未提前对齐两个DataFrame的列顺序、列名，容易因列错位导致匹配失效

SQL EXCEPT的计算逻辑和行顺序、原索引完全无关，核心流程为：

• 校验两个查询返回的列结构（列数、列顺序、对应类型）完全一致
• 分别对两个查询的返回结果做整行去重
• 计算两个去重结果集的差集：即仅存在于第一个查询结果、但不存在于第二个查询结果的所有整行
• 最终返回的结果自动去重

首先前置准备：确保两个DataFrame的列顺序、列名完全匹配，避免列错位导致的匹配误差

# 强制对齐列结构，和SQL的列顺序校验逻辑一致
df2 = df2[df1.columns]

方法1：通用兼容的merge实现（适配所有pandas版本） #

# 1. 对两个源DataFrame分别做整行去重，对齐EXCEPT的前置去重规则
df1_unique = df1.drop_duplicates()
df2_unique = df2.drop_duplicates()

# 2. 外连接匹配整行，筛选仅在df1中存在的行
except_result = (
    df1_unique.merge(
        df2_unique,
        how="outer",
        indicator=True
    )
    .query("_merge == 'left_only'")
    .drop(columns=["_merge"])
)

针对你给出的示例，两个DataFrame去重后的整行集合完全一致，最终得到的except_result为空，和SQL Server的执行结果完全匹配。

方法2：高性能集合匹配实现（适合万级以上数据量） #

对大体积DataFrame，用集合哈希匹配的效率远高于merge关联：

# 将整行转换为可哈希的元组，构建行集合
df1_row_set = set(map(tuple, df1_unique.to_numpy()))
df2_row_set = set(map(tuple, df2_unique.to_numpy()))

# 计算差集后转回DataFrame
diff_rows = df1_row_set - df2_row_set
except_result = pd.DataFrame(diff_rows, columns=df1.columns)

• 如果需要对齐EXCEPT ALL的逻辑（保留重复行的计数差集），就不要提前对两个DataFrame做drop_duplicates，需要按行的出现频次计算差集
• 包含浮点数列时，要提前统一数值精度，避免浮点尾差导致的整行匹配失败
• 匹配判定要求整行所有列的值完全相等，和原始行的排列顺序、DataFrame的原有索引没有任何关联

内容的提问来源于stack exchange，提问作者ychaulagain