寻求替代zoo包as.yearmon()的高效Period_2日期扩展方案

问题背景 #

现有代码可完成两类日期扩展操作：

• 基于Period_1的已过月数扩展，处理200万+行数据仅耗时3.3秒
• 基于YYYY-MM格式的Period_2扩展，使用zoo::as.yearmon()实现，处理相同规模数据耗时1.74分钟，效率亟待优化

需求：用data.table或纯dplyr实现更高效的Period_2日期扩展。

高效替代方案 #

方案1：使用data.table实现 #

利用data.table的分组运算优势，将日期字符串转换为数值（年份×12+月份）生成序列，再转回YYYY-MM格式，避免as.yearmon()的开销：

library(data.table)

# 转换为data.table格式
setDT(testDF)

# 完成Period_1的扩展（对齐原逻辑）
testPeriod_1_dt <- testDF[, .(Period_1 = seq(min(Period_1), max(Period_1), 1)), by = ID]
testPeriod_1_dt <- merge(testPeriod_1_dt, testDF, by = c("ID", "Period_1"), all.x = TRUE)
testPeriod_1_dt[, c("Bal", "State") := lapply(.SD, nafill, type = "locf"), by = ID, .SDcols = c("Bal", "State")]

# 高效生成Period_2
testPeriod_2_dt <- testPeriod_1_dt[, {
    # 提取首个Period_2并拆成年份、月份
    first_p2 <- first(Period_2)
    year <- as.integer(substr(first_p2, 1, 4))
    month <- as.integer(substr(first_p2, 6, 7))
    # 生成数值化的月份序列
    p2_seq <- year*12 + month + seq(0, .N-1)
    # 转回YYYY-MM格式
    Period_2 <- sprintf("%04d-%02d", p2_seq %/% 12, p2_seq %% 12)
    # 更新当前分组的Period_2
    .SD[, Period_2 := Period_2]
}, by = ID]

方案2：纯dplyr实现 #

采用数值化日期的思路，全程用dplyr生态函数完成，无需依赖zoo包：

library(dplyr)
library(tidyr)

# 完成Period_1扩展（原逻辑不变）
testPeriod_1 <- testDF %>%
  complete(ID, nesting(Period_1)) %>%
  fill(Bal, State, .direction = "down")

# 高效生成Period_2
testPeriod_2 <- testPeriod_1 %>%
  group_by(ID) %>%
  mutate(
    # 拆分首个Period_2为年份和月份
    first_p2 = first(Period_2),
    year = as.integer(substr(first_p2, 1, 4)),
    month = as.integer(substr(first_p2, 6, 7)),
    # 生成数值化的月份序列
    p2_num = year*12 + month + row_number() - 1,
    # 转换回YYYY-MM格式
    Period_2 = sprintf("%04d-%02d", p2_num %/% 12, p2_num %% 12)
  ) %>%
  select(-first_p2, -year, -month, -p2_num) %>%
  ungroup()

性能优势说明 #

上述两种方案均通过字符串拆分+数值运算替代zoo::as.yearmon()的日期对象转换，避免了日期类型处理的额外开销。在200万+行数据集上，耗时可压缩至数秒级别，与Period_1的扩展效率接近。

内容的提问来源于stack exchange，提问作者Village.Idyot