替代嵌套循环：按ID计算变量当年与前一年差值（含缺失年份）

针对你处理45000+行数据时循环效率低下的问题，推荐使用向量化操作的方案，R中dplyr或data.table包都能快速完成需求，以下是具体实现：

方法一：使用dplyr包 #

dplyr的分组和向量化操作能大幅提升效率，步骤如下：

1. 先按ID和年份排序，确保每个ID内的年份是有序的
2. 按ID分组，判断上一行的年份是否为当前年份减1，是则计算差值，否则设为NA

library(dplyr)

# 对数据排序并计算差值
macro <- macro %>%
  arrange(NUM_EXPLOTACION, ANO) %>%
  group_by(NUM_EXPLOTACION) %>%
  mutate(diff = ifelse(lag(ANO) == ANO - 1, SE441 - lag(SE441), NA)) %>%
  ungroup()

运行后得到的diff列完全符合你的预期结果。

方法二：使用data.table包 #

data.table在处理大数据时性能更优，尤其适合十万级以上的数据集：

library(data.table)

# 转换为data.table格式并排序
setDT(macro)
macro <- macro[order(NUM_EXPLOTACION, ANO)]

# 按ID分组计算差值
macro[, diff := ifelse(shift(ANO) == ANO - 1, SE441 - shift(SE441), NA), by = NUM_EXPLOTACION]

为什么这两个方案更快？ #

原来的嵌套循环是逐行遍历，时间复杂度为O(n²)，而上述方案采用向量化操作，直接对整列数据进行计算，时间复杂度为O(n)，处理45000行数据的速度会提升数十倍甚至上百倍。

内容的提问来源于stack exchange，提问作者Juan