Pandas比对索引长度不同的两个DataFrame求交集报错处理

测试代码与报错场景如下：

import pandas as pd
df = pd.DataFrame({"_id": [1, 2, 3, 4], "names_e": ["emil", "emma", "enton", "emma"]})
df2 = pd.DataFrame({"id": [1, 3, 4], "name": ["emma", "emma", "emma"]})

# 直接比对不同长度/索引的Series触发报错
# df[(df['_id']==df2["id"]) & (df['names_e'] == df2["name"])]
# 报错信息：Can only compare identically-labeled Series objects

# 直接转数组比对因长度不匹配触发报错
# df[[x for x in (df2["name"] == df["names_e"].values)]]
# 报错信息：Lengths must match to compare

需求为按id、名称字段匹配取两个DataFrame的交集，预期返回id=4、名称为'emma'的记录，手动比对、设置索引的尝试均未生效。

• pandas的向量化比较操作默认按索引对齐后逐行计算，两个Series索引标签不一致、长度不等时，无法完成对齐，就会抛出标签不匹配的错误
• 直接取.values转数组比较时，两个数组长度分别为4和3，不满足numpy广播规则，会抛出长度不匹配错误
• 之前尝试的set_index写法存在参数错误：传入的drop="False"是字符串而非布尔值False，实际不会保留原id列，无法实现索引对齐的预期效果

方案1：merge内连接（推荐） #

直接用pandas内置的关联方法做内连接，自动按指定字段取交集，代码简洁性能好：

# 指定左右表的匹配字段，做内连接
result = pd.merge(
    df,
    df2,
    left_on=["_id", "names_e"],
    right_on=["id", "name"],
    how="inner"
)[["_id", "names_e"]]

执行结果：

_id names_e
0    4    emma

方案2：集合匹配 #

如果数据量较大，可以先将匹配对转为集合做O(1)复杂度的查询，再用布尔索引筛选：

# 构造df2的匹配键集合
match_set = set(zip(df2["id"], df2["name"]))
# 筛选df中匹配的行
result = df[df.apply(lambda x: (x["_id"], x["names_e"]) in match_set, axis=1)]

输出结果和方案1完全一致。

内容的提问来源于stack exchange，提问作者Blob