自定义函数环境下用传入列名复制data.table行的问题

问题场景 #

将data.table传入自定义函数，需复制满足pop > pop_pctl条件的行（复制次数等于计算出的pop_multiple值），同时添加复制索引列。但使用传入列名构建逻辑时遇到作用域问题，尝试eval()/get()组合无效，报错invalid 'times' argument。

最小可复现示例 #

library(data.table)
set.seed(123) # 加随机种子保证结果可复现
dt <- data.table(
  region_name = rep(paste0("town_",1:100),3), 
  yr = c(rep(2000,100),rep(2010,100), rep(2023,100)),
  pop = c(round(runif(98, 1250,3000)),50000,120000, 
          round(runif(97, 1300, 3500)),75103,159382,194013, 
          round(runif(96,2000,5000)),38492,98418,154923,201348)
)
dt[, pop_total := sum(pop, na.rm = T), by = "yr"]
dt[, pop_pctl := pop_total/100]

原错误函数与报错 #

foo <- function(input_dt, pop_col = "", pop_pctl_col = "", loc_col = ""){  
  dt <- setDT(copy(input_dt))
  
  dt[get(pop_col) > get(pop_pctl_col), pop_multiple := ceiling(get(pop_col)/get(pop_pctl_col))]
  dt[rep(!is.na(eval(pop_multiple)), get(pop_multiple)), eval(loc_col) := paste0(get(loc_col),1:pop_multiple)]
 
  return(dt)
}

# 调用报错
test <- foo(dt, pop_col = "pop", pop_pctl_col = "pop_pctl", loc_col = "region_name")
# Error in .checkTypos(e, names_x) : invalid 'times' argument

错误原因 #

1. 列引用错误：eval(pop_multiple)在函数环境中无法识别data.table的列，get()虽能引用列，但在rep()的参数逻辑中使用不当。
2. rep逻辑错误：rep(!is.na(eval(pop_multiple)), get(pop_multiple))中，第二个参数需是与第一个参数长度匹配的向量，直接用get(pop_multiple)会导致长度不匹配。
3. 赋值逻辑错误：1:pop_multiple无法在全局data.table上下文中对应每行的复制次数，需按原始行分组生成索引。

正确实现（高效rep方式） #

使用data.table推荐的.data[[col]]引用列名，结合.I（行索引）实现高效行复制：

foo <- function(input_dt, pop_col = "", pop_pctl_col = "", loc_col = ""){  
  dt <- setDT(copy(input_dt))
  
  # 计算复制倍数：用.data[[col]]避免作用域冲突
  dt[.data[[pop_col]] > .data[[pop_pctl_col]], 
     pop_multiple := ceiling(.data[[pop_col]] / .data[[pop_pctl_col]])]
  
  # 生成需要复制的行索引：对每个有pop_multiple的行，重复其索引对应次数
  rep_indices <- dt[!is.na(pop_multiple), rep(.I, get("pop_multiple"))]
  
  # 合并无需复制的行和复制后的行
  result <- rbind(
    dt[is.na(pop_multiple)],
    dt[rep_indices]
  )
  
  # 生成复制索引：按原始行分组标记序号
  result[!is.na(pop_multiple), 
         dup := seq_len(.N), 
         by = .I[1]] # .I[1]取每组的原始行索引，保证按原始行分组
  
  # 更新loc_col列，拼接复制索引
  result[!is.na(pop_multiple), 
         (loc_col) := paste0(.data[[loc_col]], dup)]
  
  return(result)
}

# 调用验证
test <- foo(dt, pop_col = "pop", pop_pctl_col = "pop_pctl", loc_col = "region_name")
head(test[region_name %like% "town_99"]) # 查看复制后的行

关键说明 #

• .data[[col]]：data.table官方推荐的列引用方式，明确指定从data.table环境中取列，避免与函数环境变量冲突，比get()更清晰安全。
• .I：data.table内置变量，代表当前行的索引，rep(.I, get("pop_multiple"))可高效生成需要重复的行索引向量。
• (loc_col) :=：将字符串列名转换为符号，实现动态列赋值。

效率对比：rep方式 vs 分组cbind方式 #

你提到的分组cbind方式：

dt[!is.na(pop_multiple), cbind(.SD, dup=1:pop_multiple), by = "pop_multiple"]

确实效率低于rep(.I, times)方式：

1. 操作层级：rep是向量级别的底层操作，data.table内部做了深度优化，内存占用和运行速度都更优。
2. 分组开销：分组cbind需要对每个不同的pop_multiple值做循环处理，当数据量大、pop_multiple取值多样时，分组次数会显著增加，性能下降明显。
3. 顺序保持：rep方式可以保留原始行的顺序，而分组方式会打乱顺序（按pop_multiple分组排序），若需保留原始顺序，rep方式更合适。

内容的提问来源于stack exchange，提问作者BLP92