如何在Pandas DataFrame中高效实现同表内col2对应col1的id匹配？

针对你的需求，要给DataFrame新增col2_id列，匹配col2值对应col1的id，用字典映射+map方法是比pd.merge高效得多的方案，尤其适合大数据集。

实现步骤： #

1. 先构建col1到id的映射字典，利用Pandas索引操作快速生成：

col1_to_id = df.set_index('col1')['id'].to_dict()

2. 用map方法将col2的每个值映射到对应的id，直接生成新列：

df['col2_id'] = df['col2'].map(col1_to_id)

完整代码示例： #

import pandas as pd

df = pd.DataFrame({'id':[1,2,3,4],
                  'col1':['a','b','c','d'],
                  'col2':['b','a','d','c']})

# 生成映射字典
col1_to_id = df.set_index('col1')['id'].to_dict()
# 新增col2_id列
df['col2_id'] = df['col2'].map(col1_to_id)

print(df)

输出结果： #

id col1 col2  col2_id
0   1    a    b        2
1   2    b    a        1
2   3    c    d        4
3   4    d    c        3

效率说明： #

• map基于哈希表的直接查找，时间复杂度为O(n)，无需像merge那样做数据对齐、排序等额外操作，在百万级以上的大数据集中，性能会比merge提升数倍。
• 如果col2中存在col1没有的值，map会返回NaN，可以用fillna处理这类情况（比如df['col2_id'] = df['col2'].map(col1_to_id).fillna(-1)）。

内容的提问来源于stack exchange，提问作者Ismail Awad