Pandas中基于现有列映射创建新ID列的最优方法

对于这种需要根据已有列的值映射生成新列的需求，map()方法是Pandas里的最优选择，尤其是在处理大规模数据集时，它的效率远高于循环或者部分其他方法。

具体步骤： #

1. 定义映射字典：把你的规则整理成键值对形式的字典，键是col1里的原始值，值是要映射到的ID值：

# 示例映射字典，根据你的实际规则替换即可
mapping_rules = {
    'a': 'KI13232',
    'b': 'AB78901',  # 替换成b对应的实际ID
    'c': 'CD23456'   # 替换成c对应的实际ID
}

2. 应用映射生成新列：直接用map()方法将字典应用到col1上，生成新的ID列：

import pandas as pd

# 假设你的数据集存储在df变量中
df['ID'] = df['col1'].map(mapping_rules)

为什么这是最优方案？ #

• 矢量化操作，效率极高：map()是Pandas底层优化过的矢量化方法，避免了Python层面的循环，处理百万级甚至更大规模的数据时，速度会比手动循环快几个数量级。
• 字典查找O(1)复杂度：字典的键查找是常数时间复杂度，不管你的映射规则有多少条，每一行的映射操作都能快速完成，整体时间复杂度为O(n)（n为数据集行数）。
• 灵活处理缺失/未匹配值：如果col1里存在不在映射字典中的值，map()会返回NaN。如果需要给这些值设置默认值，可以搭配fillna()使用：

# 给未匹配到的值填充默认值"Unknown"
df['ID'] = df['col1'].map(mapping_rules).fillna('Unknown')

如果你之前考虑过replace()方法，要注意当映射规则较多时，replace()的效率会低于map()，因为replace()在处理字典时的内部逻辑不如map()直接高效。

内容的提问来源于stack exchange，提问作者deadbug