如何解决两个Pandas DataFrame交集结果与预期不符的问题

从你遇到的两种方法结果不一致的情况来看，核心问题出在重复ID和数据类型匹配上，下面一步步帮你拆解和解决：

一、为什么pd.merge得到5012条记录（超过df2的5000条）？ #

pd.merge(how='inner')会返回所有匹配的记录对——如果df1中存在重复的id，那么df2里的同一个id会和df1里的每一条重复记录匹配，最终结果行数就会超过df2的总行数。比如df1里某个id出现了2次，df2里这个id出现1次，merge后就会生成2条记录，累加起来总数就会超过5000。

解决方法： #

如果你想得到和df2行数完全一致的交集（每条df2记录对应df1的一条匹配数据），可以先对df1按id去重，再做merge：

# 先对df1按id去重（保留第一条，也可以选keep='last'或自定义规则）
df1_dedup = df1.drop_duplicates(subset=['id'], keep='first')
# 用df2左连去重后的df1，确保结果行数和df2一致
s1 = pd.merge(df2, df1_dedup, how='left', on=['id'])
print(len(s1))  # 此时应该等于5000

二、为什么np.intersect1d得到4997条（少于预期的5000）？ #

np.intersect1d返回的是两个id列的唯一值交集，如果df2本身存在重复的id，那么它的结果长度会自然小于df2的总行数。你这里差3条，正好对应df2里有3个重复的id（5000-4997=3）。另外还要排查一种可能：df1和df2的id数据类型不一致（比如一个是整数int64，一个是字符串object），数值看起来相同但实际不被识别为匹配。

排查与解决步骤： #

1. 先检查df2的重复id情况：

print("df2中重复id的数量：", df2['id'].duplicated().sum())
print("df2中唯一id的数量：", df2['id'].nunique())

如果唯一id数量是4997，就说明df2确实有3个重复id，这完全解释了intersect1d的结果。

2. 检查id的数据类型是否一致：

print("df1的id类型：", df1['id'].dtype)
print("df2的id类型：", df2['id'].dtype)

如果类型不一致，先统一类型再计算：

# 将df2的id转为和df1一样的类型
df2['id'] = df2['id'].astype(df1['id'].dtype)
# 重新计算唯一共同id
unique_common_ids = np.intersect1d(df1['id'], df2['id'])
print(len(unique_common_ids))  # 此时应该等于df2的唯一id数量

3. 如果想确认df2所有记录是否都在df1中（包括重复）：
   不要用intersect1d，直接用isin统计：

match_count = df2['id'].isin(df1['id']).sum()
print("df2中存在于df1的记录数：", match_count)

如果你的初始假设（df2全部5000条都在df1中）成立，这个结果应该是5000。

总结 #

• merge结果过多：df1存在重复id，导致多对多匹配
• intersect1d结果过少：df2存在重复id，或id类型不匹配

根据你的实际需求选择对应的方法即可解决问题。

内容的提问来源于stack exchange，提问作者user190549