如何用DataFrame y中匹配联合唯一键的行替换DataFrame x对应行？

问题背景 #

有两个行数不同的DataFrame x 和 y，其中列a和b作为联合唯一键。需要用y中的行替换x里a、b值完全匹配的对应行。

示例数据 #

DataFrame x：

import pandas as pd
import numpy as np

x = pd.DataFrame({
    "a": [1, 2, 2, 3, 3, np.nan, 5],
    "b": [12, 13, 14, 15, 16, 17, 18],
    "c": ["japan", np.nan, "india", np.nan, np.nan, "france", "brazil"],
    "d": [12, 15, 10, np.nan, 11, 6, 20]
})

DataFrame y：

y = pd.DataFrame({
    "a": [2, 2, 3, 3],
    "b": [13, 14, 15, 16],
    "c": [np.nan, "india", "sweden", "spain"],
    "d": [15, 10, 25, 11]
})

已尝试merge()、update()等方法但未达到预期效果，寻求可行方案。

解决方案 #

可以通过删除x中匹配行 + 合并y数据的方式实现，步骤如下：

方法一：基础替换（不保留原顺序） #

# 标记x中与y的(a,b)键匹配的行
mask = x.set_index(['a', 'b']).index.isin(y.set_index(['a', 'b']).index)

# 保留x中未匹配的行，再合并y的数据
result = pd.concat([x[~mask], y], ignore_index=True)

方法二：替换并保留原x的行顺序 #

如果需要维持原x的行排列顺序，可以添加排序逻辑：

# 标记匹配行
mask = x.set_index(['a', 'b']).index.isin(y.set_index(['a', 'b']).index)
temp = pd.concat([x[~mask], y], ignore_index=True)

# 创建原x的(a,b)键到行号的映射，用于排序
order_map = {tuple(row): idx for idx, row in enumerate(x[['a', 'b']].itertuples(index=False))}
# 给临时表添加排序字段，未在原x中的行放在末尾
temp['sort_key'] = temp.apply(lambda row: order_map.get((row['a'], row['b']), len(x)), axis=1)

# 排序后删除辅助字段
result = temp.sort_values('sort_key').drop('sort_key', axis=1).reset_index(drop=True)

代码说明 #

• 标记匹配行：通过将a和b设为索引，利用isin()快速定位x中需要被替换的行，避免逐行遍历的低效操作。
• 合并数据：先筛选出x中不需要替换的行，再将y的所有行追加进去，本质是用y的行覆盖x的匹配行。
• 顺序保留：通过创建原x的行号映射，给合并后的表添加排序键，确保最终结果的行顺序与原x一致。

验证效果 #

执行代码后，result中：

• 原x里(a=2,b=13)、(a=2,b=14)、(a=3,b=15)、(a=3,b=16)的行被y中的对应行完全替换
• 其余行保留原x的原始数据

内容的提问来源于stack exchange，提问作者starplatinum