在R中基于公共ID高效将小dataframe数据添加到大dataframe的方法

核心思路：因为仅1000条唯一ID的小表体量极小，优先采用哈希映射查找方案，完全避免大表排序、合并的高额开销，性能远优于常规的merge操作。

具体实现代码 #

1. 先将小DataFrame转为ID到type的映射字典

# 假设小表名为 df_small，大表名为 df_large
id_type_map = df_small.set_index('id')['type'].to_dict()

2. 对大表的id字段直接应用映射生成新列

df_large['type'] = df_large['id'].map(id_type_map)

方案优势 #

• 时间复杂度仅为O(N)（N为大表行数），小表转字典的开销几乎可以忽略，大表仅需单次遍历做哈希查找，不需要额外的排序、笛卡尔积匹配操作
• 内存占用极低，不需要生成中间合并表，适配超大规模DataFrame的场景
• 如果大表存在小表中没有的ID，映射结果会返回NaN，可按需补充fillna操作设置默认值，示例：

# 不存在的ID对应的type填充为"其他"
df_large['type'] = df_large['id'].map(id_type_map).fillna('其他')

内容的提问来源于stack exchange，提问作者sean stankowski