R语言向量化循环优化：长表Var1/Var2高效填充方案问询

你的嵌套循环之所以慢，核心问题在于重复的子集筛选和逐行赋值——对于2000万行的df1来说，每次循环都要检索Product_ID对应的行、再去df2里做子集匹配，这种操作的时间复杂度是O(n*m)，完全不适合大数据量。

我们可以通过预计算统计量 + 批量合并的向量化思路来解决，把时间复杂度降到O(n + m)，效率提升几个数量级。下面分步骤实现：

步骤1：加载依赖包并转换df2为长格式 #

首先把宽格式的df2转成长格式，这样每个年份的测量值对应一行，方便后续分组统计：

library(dplyr)
library(tidyr)

# 转换df2为长格式，同时过滤掉NA值（减少后续计算量）
df2_long <- df2 %>%
  pivot_longer(
    cols = starts_with("Year_"),  # 匹配所有年份列
    names_to = "Year",
    names_prefix = "Year_",       # 去掉列名里的"Year_"前缀
    values_to = "Value",
    values_drop_na = TRUE         # 只保留有有效测量值的行
  ) %>%
  mutate(Year = as.integer(Year)) # 转成整数类型，和df1的Control_Date匹配

步骤2：预计算Var1的统计值 #

Var1是相同类别、生产日期、国家、年份下非NA的产品总数，我们直接分组统计：

# 生成Var1统计表：每个分组的非NA产品数量
var1_stats <- df2_long %>%
  group_by(Product_Category, Manufacture_Date, Country_Code, Year) %>%
  summarise(Var1 = n(), .groups = "drop") # .groups="drop"避免分组残留

步骤3：预计算Var2的统计值 #

Var2是相同生产日期、国家、年份，但不同类别下非NA的产品总数，我们先按多维度分组统计，再转宽格式计算跨类别数量：

# 生成Var2统计表
var2_stats <- df2_long %>%
  # 先统计每个(生产日期、国家、年份、类别)的非NA产品数
  group_by(Manufacture_Date, Country_Code, Year, Product_Category) %>%
  summarise(count = n(), .groups = "drop") %>%
  # 转宽格式，把A/B类别转成列
  pivot_wider(
    id_cols = c(Manufacture_Date, Country_Code, Year),
    names_from = Product_Category,
    values_from = count,
    values_fill = 0 # 没有数据的类别填充0
  ) %>%
  # 计算每个类别对应的另一类别的数量
  mutate(
    Var2_A = B,  # A类的Var2是B类的数量
    Var2_B = A   # B类的Var2是A类的数量
  ) %>%
  # 转回长格式，方便和df1合并
  pivot_longer(
    cols = starts_with("Var2_"),
    names_to = "Product_Category",
    names_prefix = "Var2_",
    values_to = "Var2"
  ) %>%
  # 保持和原数据一致的factor类型
  mutate(Product_Category = factor(Product_Category, levels = c("A", "B")))

步骤4：合并统计值到df1 #

最后把预计算好的统计表和df1合并，批量填充Var1和Var2：

df1_final <- df1 %>%
  # 匹配Var1：按类别、生产日期、国家、年份（Control_Date）
  left_join(var1_stats, 
            by = c("Product_Category", "Manufacture_Date", "Country_Code", "Control_Date" = "Year")) %>%
  # 匹配Var2：同样的匹配规则
  left_join(var2_stats,
            by = c("Product_Category", "Manufacture_Date", "Country_Code", "Control_Date" = "Year")) %>%
  # 没有匹配到数据的情况（即该分组无有效产品）填充0
  mutate(
    Var1 = replace_na(Var1, 0),
    Var2 = replace_na(Var2, 0)
  )

针对超大数据量的进阶优化：用data.table提速 #

如果你的数据集（2000万行）在dplyr下仍有性能瓶颈，可以用data.table实现，它的内存效率和速度更优（按引用修改，避免不必要的数据复制）：

library(data.table)

# 转换为data.table格式
setDT(df2)
setDT(df1)

# 转长格式并过滤NA
df2_long <- melt(df2, 
                 id.vars = c("Product_ID", "Product_Category", "Manufacture_Date", "Country_Code"),
                 variable.name = "Year",
                 value.name = "Value",
                 na.rm = TRUE)
df2_long[, Year := as.integer(sub("Year_", "", Year))]

# 计算Var1统计
var1_stats <- df2_long[, .(Var1 = .N), by = .(Product_Category, Manufacture_Date, Country_Code, Year)]

# 计算Var2统计
var2_stats <- df2_long[, .(count = .N), by = .(Manufacture_Date, Country_Code, Year, Product_Category)]
var2_stats <- dcast(var2_stats, Manufacture_Date + Country_Code + Year ~ Product_Category, value.var = "count", fill = 0)
var2_stats[, `:=`(Var2_A = B, Var2_B = A)]
var2_stats <- melt(var2_stats, 
                   id.vars = c("Manufacture_Date", "Country_Code", "Year"),
                   measure.vars = c("Var2_A", "Var2_B"),
                   variable.name = "Product_Category",
                   value.name = "Var2")
var2_stats[, Product_Category := factor(sub("Var2_", "", Product_Category), levels = c("A", "B"))]

# 合并到df1（按引用修改，速度极快）
df1[var1_stats, on = .(Product_Category, Manufacture_Date, Country_Code, Control_Date = Year), Var1 := i.Var1]
df1[var2_stats, on = .(Product_Category, Manufacture_Date, Country_Code, Control_Date = Year), Var2 := i.Var2]
# 填充NA为0
df1[, `:=`(Var1 = fifelse(is.na(Var1), 0L, Var1), Var2 = fifelse(is.na(Var2), 0L, Var2))]

为什么这个方案高效？ #

1. 向量化操作：所有统计计算都是批量完成，避免了循环里的逐行检索和赋值
2. 数据聚合：预计算的统计表数据量远小于原数据（最多290190*50=171万行），合并时的匹配成本极低
3. 避免重复计算：每个分组的统计值只计算一次，而不是像循环那样每个Product_ID都重复计算

你可以用示例数据验证结果，和原来的循环输出完全一致，但速度会快几百甚至几千倍。

内容的提问来源于stack exchange，提问作者Sohrab