如何高效扩展已去重的用户日期数据框以添加多产品维度？

一、针对已有唯一userid+date数据集的优化方法 #

你的原数据已经是每行唯一的userid+date组合，不需要额外分组操作，直接通过重复行+批量赋值或者无分组笛卡尔积就能实现高效扩展：

1. dplyr/tidyr 优化实现 #

# 方法1：直接生成笛卡尔积，无需分组
panel %>%
  tidyr::crossing(product = c("ProductA", "ProductB", "ProductC"))

# 方法2：重复数据后批量赋值，速度更快
dplyr::bind_rows(panel, panel, panel) %>%
  dplyr::mutate(product = rep(c("ProductA", "ProductB", "ProductC"), each = nrow(panel)/3))

方法2通过直接复制数据三次再批量标记产品，避免了分组和expand的额外计算，内存操作更高效。

2. data.table 优化实现 #

products <- c("ProductA", "ProductB", "ProductC")
panel_dt <- as.data.table(panel)

# 方法1：直接重复行后赋值
panel_dt <- panel_dt[rep(1:.N, each = 3)]
panel_dt[, product := rep(products, times = nrow(panel_dt)/3)]

# 方法2：无分组笛卡尔积（比原keyby方式快）
panel_dt[, .(product = products), by = .(userid, date)]

原方法中keyby = .(userid, date)属于冗余操作，会触发不必要的排序和分组计算，去掉后效率大幅提升。

二、从原始数据出发的最优路径：先扩产品再扩日期 #

如果回到最初的用户起始/结束日期数据集，先扩展产品维度再生成日期序列，能大幅减少中间数据规模，降低内存占用，是大规模数据下的最优方案：

data.table 实现 #

# 原始用户日期范围数据
original_panel <- data.table(
  userid = sprintf("%03d", 1:1000),
  first_date = as.Date(c("2020-01-01", "2020-07-28", ...)),
  last_date = as.Date(c("2023-01-01", "2022-12-15", ...))
)

products <- c("ProductA", "ProductB", "ProductC")
# 第一步：扩展产品维度（1000行 → 3000行）
original_panel <- original_panel[, .(product = products), by = .(userid, first_date, last_date)]
# 第二步：按用户-产品生成日期序列
original_panel[, date := seq(first_date, last_date, by = "1 day"), by = .(userid, product)]
# 清理冗余列
original_panel[, c("first_date", "last_date") := NULL]

dplyr 实现 #

original_panel %>%
  # 先扩展产品维度
  tidyr::crossing(product = c("ProductA", "ProductB", "ProductC")) %>%
  # 按用户-产品生成日期序列
  group_by(userid, product) %>%
  reframe(date = seq(first_date, last_date, by = "1 day"))

三、性能差异说明 #

• 针对已有userid+date数据集：直接重复行+赋值的方法是最快的，属于O(n)级别的内存操作，无额外计算开销。
• 从原始数据出发：先扩产品再扩日期的路径，中间数据量仅为原流程的1/1000（3000行 vs 100万行），内存占用和计算时间都会大幅降低。
• 原方法低效原因：冗余的分组/keyby操作触发了不必要的排序和分组计算，拖慢了处理速度。

内容的提问来源于stack exchange，提问作者Alberto Agudo Dominguez