如何高效计算同时间点个体间的数值差？（R语言场景）

给定一组存在观测缺失的纵向数据：

df <- data.frame(id = c(1, 1, 1, 1, 1, 2, 2, 2), # id2缺失time3和time5
                 time = c(1, 2, 3, 4, 5, 1, 2, 4),
                 value = c(3, 4, 2, 55, 5, 9, 43, 22))

需求是计算两个个体在相同时间点的数值差，非共同时间点则填充NA，期望输出如下：

id  time value  diff
  1    1     3    -6  # 时间点匹配，计算差值
  1    2     4     3  
  1    3     2    NA
  1    4    55    33
  1    5     5    NA
  2    1     9    -6
  2    2    43     3
  2    3    NA    NA
  2    4    22    33
  2    5    NA    NA

针对大数据集，推荐以下两种高效实现方案：

方案一：使用data.table（性能最优） #

data.table在处理大规模数据时内存占用更低、运算速度更快，适合你的场景：

library(data.table)

# 转换为data.table格式
setDT(df)

# 补全所有id-time组合的缺失记录
full_df <- df[CJ(id = unique(id), time = unique(time)), on = .(id, time)]

# 按时间分组，计算两个个体的value差值并赋值给每条记录
full_df[, diff := value[id == 1] - value[id == 2], by = time]

# 输出结果
full_df

方案二：使用tidyverse（语法直观） #

如果你熟悉tidy语法，也可以用tidyr+dplyr实现，代码可读性强：

library(tidyverse)

df %>%
  # 补全所有id-time的笛卡尔积组合，缺失value自动填充NA
  complete(id, time) %>%
  # 按时间分组计算差值
  group_by(time) %>%
  mutate(diff = value[id == 1] - value[id == 2]) %>%
  ungroup()

核心逻辑说明 #

两种方法的核心步骤一致：

1. 补全缺失记录：通过生成所有id和time的笛卡尔积，补全个体在对应时间点的缺失观测，value自动填充为NA；
2. 分组计算差值：按时间分组，计算该时间点下两个个体的value差值，再将差值赋值给该时间点的所有个体记录，非共同时间点因存在NA，差值自动为NA。

内容的提问来源于stack exchange，提问作者cliu