R语言如何为数据框各分组补全指定年份区间缺失行

问题说明 #

需要实现的逻辑如下：

• 按species列分组，给每个物种补全2011-2020区间内的所有缺失年份
• 新增行对应的所有数值列（共约80个，无需手动枚举列名）统一填充为0
• 原始数据行已有的值（包括存在的NA）保留，不做修改

注：原问题提供的示例代码存在笔误，构造df时列名误写为length，下文代码使用修正后的可运行示例数据：

species <- c("Tulip", "Tulip", "Tulip", "Dandy", "Dandy", "Dandy", "Rose", "Rose", "Rose")
Year <- c(2018, 2019, 2020, 2015, 2018, 2019, 2011, 2018, 2019)
length1 <- c(4, 2, 3, 4, 1,5,6,4,7)
length2 <- c(3,2,4, NA, 4, 4, NA, 3,2)

df <- data.frame(species, Year, length1, length2)

实现方案 #

根据数据量大小，可以选择以下两种常用方案，两种方案均无需手动枚举数值列名，自动适配任意数量的数值字段。

方案1：tidyverse 方案（适合中小体量数据，代码可读性高） #

依赖dplyr和tidyr实现，逻辑清晰易修改：

library(tidyverse)

# 定义需要覆盖的完整年份区间
full_year_seq <- 2011:2020

df_filled <- df %>%
  # 给原始数据打标记，用于区分后续补全的新增行
  mutate(is_origin = TRUE) %>%
  # 按物种分组，补全每个分组下的完整年份序列
  group_by(species) %>%
  complete(Year = full_year_seq) %>%
  ungroup() %>%
  # 自动选中所有数值列（排除Year列），仅对新增行填充0
  mutate(
    across(
      .cols = where(is.numeric) & !Year,
      .fns = ~ifelse(is.na(is_origin), 0, .)
    )
  ) %>%
  # 删除临时标记列
  select(-is_origin)

方案说明：

• across(where(is.numeric))会自动识别所有数值类型列，不管有80个还是更多列都不需要手动写列名
• 通过临时标记列区分原始行和新增行，不会误把原始数据中自带的NA替换为0
• 如果需要把原始数据中的NA也统一替换为0，直接将mutate部分替换为mutate(across(where(is.numeric) & !Year, ~replace_na(., 0)))即可

方案2：data.table 方案（适合大体量数据，运行效率高） #

如果你的数据行数在十万级以上，优先选择data.table方案，内存占用和运行速度比tidyverse高5-10倍：

library(data.table)

# 转换为data.table格式
setDT(df)
full_year_seq <- 2011:2020

# 生成 物种-年份 的全量组合
all_group_comb <- CJ(species = unique(df$species), Year = full_year_seq)
# 左连接原始数据，得到带缺失值的完整表
df_filled <- merge(
  x = all_group_comb,
  y = df,
  by = c("species", "Year"),
  all.x = TRUE
)

# 自动识别所有数值列（排除Year列）
num_cols <- names(df)[sapply(df, is.numeric) & names(df) != "Year"]
# 仅对新增的缺失行，给所有数值列赋值为0
df_filled[!df, on = .(species, Year), (num_cols) := 0]

方案说明：

• 同样通过非连接匹配识别新增行，不会修改原始数据的已有值
• 自动识别数值列，无需手动枚举
• 处理百万行级数据时无明显内存压力

结果校验 #

补全后可以通过以下代码验证结果是否符合预期：

# 检查每个物种的年份数量，返回结果均为10即代表覆盖了2011-2020全部年份
table(df_filled$species)

# 检查Rose分组2012-2017年的新增行，数值列均为0即填充正确
df_filled[species == "Rose" & Year %in% 2012:2017]

# 检查Dandy分组2015年的length2列，返回NA即代表原始值未被误修改
df_filled[species == "Dandy" & Year == 2015, length2]

内容的提问来源于stack exchange，提问作者J.Doe