如何将添加新列的1%抽样数据集合并回原始DataFrame？

左连接后行数变多，核心原因是连接键存在重复值——原表中一条记录匹配到子集中多条同键记录，触发笛卡尔积，导致行数膨胀。下面是具体解决方法：

一、先排查连接键的唯一性 #

首先确认你用来合并的键（比如索引、id列）是否能唯一标识每一行：

• 检查原表：df[连接键列].duplicated().any()
• 检查子集：df_sample[连接键列].duplicated().any()

如果子集存在重复键，先清理：

# 保留重复键中最后一条的新列值，根据需求也可以选keep='first'
df_sample_clean = df_sample.drop_duplicates(subset='连接键列', keep='last')

二、三种可靠的合并/更新方式 #

1. 直接通过索引更新（最高效） #

如果抽取子集时保留了原DataFrame的索引（比如用df.sample(frac=0.01)），直接定位索引赋值：

# 给原表新增列，仅子集行赋值，其余行留NaN
df['new_col'] = None
df.loc[df_sample.index, 'new_col'] = df_sample['new_col']

2. 带校验的左连接 #

用唯一键合并时，加上validate='one_to_one'参数，一旦出现一对多的情况会直接报错，提前排查问题：

df_merged = df.merge(
    df_sample_clean[['连接键列', 'new_col']],
    on='连接键列',
    how='left',
    validate='one_to_one'  # 确保连接是一对一关系
)

3. 索引合并（适用于索引为唯一键的场景） #

如果原表和子集的索引都是唯一且对应的，直接按索引合并：

df_merged = df.merge(
    df_sample_clean[['new_col']],
    left_index=True,
    right_index=True,
    how='left'
)

关键提醒 #

合并前一定要确保子集的连接键没有重复，否则即使左连接也会因为一对多匹配产生多余行。如果不确定连接键是否唯一，先用duplicated()检查，避免无效合并。

内容的提问来源于stack exchange，提问作者Timeindicator