如何用R语言data.table高效更新数据表？

数据定义 #

现有两个data.table对象：

library(data.table)
X = data.table(names = c("a", "a", "b", "b", "c", "c"), 
               years = c("2001", "2002", "2001", "2002", "2001", "2002"), 
               val.1 = 1:6, 
               key = c("names", "years"))

X的内容：

X.update = data.table(names = c("a", "b", "b", "c", "d", "d", "d"), 
                      years = c("2003", "2002", "2003", "2003", "2001", "2002", "2003"), 
                      val.1 = 11:17, 
                      key = c("names", "years"))

X.update的内容：

需求 #

需要完成以下操作，且保证处理百万级数据时的效率：

• 用X.update覆盖所有(names, years)组合匹配的旧val.1值
• 新增X.update中所有未在X中出现的条目，具体包括：
  1. 为所有现有names添加2003年的新行
  2. 新增完整的d的所有年份行
  3. 修正b在2002年的val.1值

最终期望结果：

高效解决方案 #

利用data.table的键索引和快速更新特性，操作步骤如下：

1. 匹配更新已有行 #

通过键匹配，直接用X.update的值覆盖X中对应(names, years)组合的val.1：

X[X.update, val.1 := i.val.1]

这一步是原地更新，不需要复制整个数据集，效率极高，适合百万级数据。

2. 筛选并追加新行 #

找出X.update中未在X里出现的行，追加到X中：

new_rows <- X.update[!X]
X <- rbind(X, new_rows)

X.update[!X]利用键快速找出差集，rbind在data.table中经过优化，处理大数据时性能优异。

3. 排序（可选） #

如果需要结果按names和years排序，执行：

X <- X[order(names, years)]

完整代码 #

library(data.table)

# 定义原始数据
X = data.table(names = c("a", "a", "b", "b", "c", "c"), 
               years = c("2001", "2002", "2001", "2002", "2001", "2002"), 
               val.1 = 1:6, 
               key = c("names", "years"))

X.update = data.table(names = c("a", "b", "b", "c", "d", "d", "d"), 
                      years = c("2003", "2002", "2003", "2003", "2001", "2002", "2003"), 
                      val.1 = 11:17, 
                      key = c("names", "years"))

# 执行更新和追加
X[X.update, val.1 := i.val.1]
X <- rbind(X, X.update[!X])
X <- X[order(names, years)]

# 查看结果
print(X)

执行后即可得到符合需求的最终数据，所有操作均为data.table原生高效实现，适合处理百万级甚至更大规模的数据集。

内容的提问来源于stack exchange，提问作者Crowflow