pandas merge函数使用异常 6千行表左连接9千万行表未返回匹配ID

核心原因是pandas的merge方法不会修改原DataFrame，而是返回一个新的拼接后的DataFrame，你没有将执行结果赋值给变量，因此原df2没有任何改动，正确的基础写法应该是：

merged_df = df2.merge(df1, left_on='name', right_on='NAME', how='left')

1. 代码是否符合匹配任务需求 #

从业务逻辑来看，左连接的写法符合你要保留全部6000条姓名、无论是否匹配到ID的需求，但存在两个易导致匹配失败的潜在问题：

• 没有对merge的返回结果做赋值，无法拿到匹配后的数据
• 即使赋值后仍无匹配结果，可排查两类问题：
  • 两表姓名字段的实际值是否存在不可见差异：比如首尾空格、换行符、全角半角字符、值的大小写不一致（你确认的是表头大小写一致，不代表字段值的大小写一致）
  • 两表姓名字段的数据类型是否匹配：比如一侧是字符串类型，另一侧是category或数值类型，会导致匹配失效

2. 更快速的匹配实现方法 #

9000万行的大表和6000行的小表匹配，用merge的性能开销极高，推荐用更轻量化的映射方案，比merge快10倍以上：

最优方案（内存足够放下9000万行df时使用） #

直接将大表转为姓名字段到ID的映射字典，再给小表做值映射，代码示例：

# 先做大表去重（避免同一个姓名对应多个ID导致映射异常，可根据业务需求调整去重规则）
df1_unique = df1.drop_duplicates(subset='NAME', keep='first')
# 构建映射字典
name_id_map = df1_unique.set_index('NAME')['ID'].to_dict()
# 给小表加ID列
df2['ID'] = df2['name'].map(name_id_map)

整个流程只有一次全表遍历，不需要做笛卡尔积匹配，耗时通常在分钟级甚至秒级。

内存不足时的分块方案 #

如果9000万行df占用内存超过机器可用内存，可分块读取大表文件逐块匹配：

import pandas as pd

# 先初始化结果字典
result_map = {name: None for name in df2['name'].tolist()}
# 每次读取100万行，可根据内存调整块大小
for chunk in pd.read_csv('你的9000万行数据文件路径', chunksize=1000000):
    # 只筛选当前块中存在于小表的姓名对应的数据
    matched = chunk[chunk['NAME'].isin(result_map.keys())]
    # 更新结果字典
    for _, row in matched.iterrows():
        if result_map[row['NAME']] is None:
            result_map[row['NAME']] = row['ID']

# 最后把结果赋值给小表
df2['ID'] = df2['name'].map(result_map)

该方案不需要把全量大表加载进内存，内存占用可控，速度也远快于全量merge。

内容的提问来源于stack exchange，提问作者Tyler Moore