Pandas左连接仅取左表数据时报内存错误，求替代实现方案

你触发内存错误的核心原因有两点：

1. 选用了外连接（how='outer'）实现左表独有记录筛选，会同时加载左右表全量数据生成中间表，内存占用是左连接的2倍以上；
2. 原代码关联列配置为on=['col1']，但实际关联字段是ID，关联字段不匹配会导致join时生成笛卡尔积，行数直接膨胀为两表行数的乘积，这是你触发2.8G内存分配失败的主要原因。

以下是3种内存友好的实现方式，按推荐优先级排序：

方法1：用isin()直接筛选（内存占用最低，优先使用） #

无需生成join中间表，内存占用仅为两表ID列的存储成本，一行代码即可实现需求：

df1_unique = df1[~df1['ID'].isin(df2['ID'])]

适用场景：所有需要筛选左表不在右表中记录的场景，可保留df1中ID重复的行，完全匹配你的需求。

方法2：用索引差集实现（适合需要先对ID去重的场景） #

如果需要先对ID去重再取差集，可以用pandas索引的原生差集方法：

# 取df1存在、df2不存在的ID集合
unique_ids = pd.Index(df1['ID']).difference(pd.Index(df2['ID']))
# 筛选df1中的对应行
df1_unique = df1[df1['ID'].isin(unique_ids)]

方法3：修正merge参数实现（如果你坚持使用merge语法） #

把外连接改为左连接，同时修正关联列即可，避免生成多余的右表中间数据：

df1.merge(df2, indicator='i', how='left', on=['ID']).query('i == "left_only"').drop('i', axis=1)

内容的提问来源于stack exchange，提问作者unicorn