替代for循环实现依赖前一行值的列计算（适配dplyr分组）

针对你处理600万行数据时for循环效率低下的问题，推荐使用矢量化操作替代逐行循环，以下是适配dplyr::group_by()的方案，同时提供极致性能的备选方案：

核心方案：dplyr + tidyr（简洁且支持分组） #

利用tidyr::fill()实现向前填充（Last Observation Carried Forward, LOCF），该函数是矢量化实现，底层基于高效的C++逻辑，处理百万级数据仅需数秒至数十秒。

代码示例 #

1. 基础无分组场景

直接复制z列到新列aa，再填充NA值：

library(dplyr)
library(tidyr)

df_processed <- df %>%
  mutate(aa = z) %>%
  fill(aa, .direction = "down") # .direction="down"表示向前（向下）填充

2. 分组场景（适配group_by）

如果需要按特定规则分组（比如示例中以y=0作为分组起点），先创建分组标识再分组填充：

df_processed <- df %>%
  # 以y=0为分组分隔点，生成分组ID
  mutate(group_id = cumsum(y == 0)) %>%
  group_by(group_id) %>%
  mutate(aa = z) %>%
  fill(aa, .direction = "down") %>%
  ungroup() %>%
  select(-group_id) # 可选：删除临时分组标识列

处理后结果 #

print(df_processed)
#    x y  z aa
# 1  1 0  5  5
# 2  2 1 NA  5
# 3  3 2 NA  5
# 4  4 3 NA  5
# 5  5 0  6  6
# 6  6 1 NA  6
# 7  7 2 NA  6
# 8  8 3 NA  6
# 9  9 4  3  3
# 10 10 5  2  2

极致性能备选：data.table #

如果对速度有更高要求，data.table的nafill()函数性能更优，适合超大规模数据集：

library(data.table)

setDT(df)
# 按分组执行向前填充，type="locf"即Last Observation Carried Forward
df[, aa := nafill(z, type = "locf"), by = .(cumsum(y == 0))]

效率说明 #

• 矢量化操作避免了for循环的逐行计算开销，600万行数据的处理时间可从1小时压缩至数十秒内；
• dplyr+tidyr方案代码可读性高，与你偏好的分组工作流完美兼容；
• data.table方案在极端大数据场景下性能更突出，代码同样简洁。

内容的提问来源于stack exchange，提问作者z_11122