如何按指定列表过滤大型Pandas DataFrame并匹配提取结果

刚好碰到过类似的场景，尤其是面对超大的master_df时，既要保证匹配顺序，又得兼顾效率，给你两个实用的方法：

方法一：用Merge保持原始顺序 #

如果习惯用merge操作，可以通过临时记录原始索引的方式来保留df的顺序：

# 先给df加个临时列记录原始顺序
df = df.reset_index().rename(columns={'index': 'original_order'})
# 左连接只匹配df里的item，避免引入多余数据
merged_df = df.merge(master_df, on='item', how='left')
# 按原始顺序排序后恢复索引
merged_df = merged_df.sort_values('original_order').set_index('original_order')
# 把匹配到的result赋值回df
df['result'] = merged_df['result'].values
# 清理临时列
df = df.drop('original_order', axis=1)

这个方法逻辑直观，适合需要同时处理其他列的场景，但要注意，因为master_df体量超大，merge过程可能会占用较多内存。

方法二：用字典映射（更高效） #

针对大型数据集，字典映射的效率和内存友好度更高，而且天然会保持df的item顺序：

# 把master_df转换成{item: result}的字典，一次构建完成
result_dict = master_df.set_index('item')['result'].to_dict()
# 按df的item顺序逐个映射，没有匹配的会返回NaN
df['result'] = df['item'].map(result_dict)

这个方法的优势在于：字典的查找是O(1)时间复杂度，对于8000多万行的master_df，转字典的操作也比merge快很多，而且内存占用只有字典的大小，远小于merge生成的中间DataFrame。如果碰到df里有master_df不存在的item（比如例子里的id2342），会自动填充NaN，你可以根据需求用fillna()处理成0或者其他值。

内容的提问来源于stack exchange，提问作者Parsa