R语言面板数据动态计算：按指定公式填充缺失w值

问题背景 #

你有一份包含个体和时间维度的面板数据，需要按照公式 w_id_t = w_id_t-1 * alpha + rho_id_t 填充w列的缺失值。原始数据构造代码如下：

id <- c("1", "1", "1", "2", "2", "2")
t <- c("1", "2", "3", "1", "2", "3")
w <- c("0.17", "NA", "NA", "0.23", "NA", "NA")
alpha <- c("0.15", "0.15", "0.15", "0.15", "0.15", "0.15")
rho <- c("0.10", "0.21", "0.32", "0.12", "0.2", "0.08")

df <- data.frame(id, t, w, alpha, rho)

预期填充后的目标数据框构造代码：

w_new <- c("0.17", "0.2355", "0.345", "0.23", "0.2345", "0.115")
df_dynamics <- data.frame(id, t, w_new, alpha, rho)

解决方案 #

首先注意：原始数据中所有数值列都是字符类型，第一步需要转换为数值型才能进行计算。以下提供两种常用实现方法：

方法1：使用dplyr + purrr（tidyverse生态）

library(dplyr)
library(purrr)

# 转换数值列类型为数值型
df_clean <- df %>%
  mutate(across(c(w, alpha, rho), as.numeric))

# 按个体分组，迭代计算填充后的w_new
df_result <- df_clean %>%
  group_by(id) %>%
  mutate(w_new = accumulate(
    .x = seq_along(w),
    .f = function(last_val, idx) {
      if (idx == 1) {
        w[idx]
      } else {
        last_val * alpha[idx] + rho[idx]
      }
    }
  )) %>%
  ungroup()

# 可选：如果需要和预期结果格式一致，可将数值转回字符（或保留数值型）
df_result <- df_result %>%
  mutate(across(c(w, alpha, rho, w_new), as.character))

方法2：使用data.table（适合大数据集）

library(data.table)

# 转换为data.table并处理数值类型
setDT(df)
df[, c("w", "alpha", "rho") := lapply(.SD, as.numeric), .SDcols = c("w", "alpha", "rho")]

# 按id分组迭代计算
df[, w_new := Reduce(
    f = function(prev, idx) prev * alpha[idx] + rho[idx],
    x = seq_len(.N)[-1],
    init = w[1],
    accumulate = TRUE
  ), 
  by = id]

# 可选：转回字符类型匹配预期格式
df[, c("w", "alpha", "rho", "w_new") := lapply(.SD, as.character), .SDcols = c("w", "alpha", "rho", "w_new")]

结果验证 #

运行上述代码后，w_new列的结果与预期的df_dynamics一致（若存在微小浮点精度差异，可使用round(w_new, 4)调整）。

内容的提问来源于stack exchange，提问作者vog