将dplyr按行操作代码转换为data.table实现方案求助

以下是对应你提供的dplyr代码的data.table实现，针对百万级行数的场景做了效率优化：

library(data.table)
library(trend)

# 构造原始数据
df = structure(list(id = 1:2, var = c(3L, 9L), col1_x = c("[(1,2,3)]", 
                                                        "[(100,90,80,70,60,50,40,30,20)]"), col2_x = c("[(2,4,6)]", "[(100,50,25,12,6,3,1,1,1)]"
                                                        )), class = "data.frame", row.names = c(NA, -2L))

# 转换为data.table格式
setDT(df)

# 筛选所有以"_x"结尾的列
x_cols = grep("_x$", names(df), value = TRUE)

# 第一步：清理列中的特殊字符（移除[]()）
df[, (x_cols) := lapply(.SD, function(x) gsub("[][()]", "", x)), .SDcols = x_cols]

# 第二步：按行处理每个x列，根据var值计算结果
df[, (x_cols) := lapply(.SD, function(col) {
  mapply(function(str_val, var_val) {
    if (var_val <= 4) {
      0
    } else {
      # 拆分字符串并转为数值向量
      num_vec = as.numeric(strsplit(str_val, ",")[[1]])
      # 计算sens.slope的估计值
      sens.slope(num_vec)$estimates[[1]]
    }
  }, col, var)
}), .SDcols = x_cols]

关键转换说明： #

• 数据格式转换：用setDT(df)将data.frame转为data.table，这是data.table操作的基础
• 列筛选：用grep("_x$", names(df), value = TRUE)替代dplyr的select(ends_with("x")) %>% names()，更高效
• 批量列修改：df[, (x_cols) := lapply(.SD, ...), .SDcols = x_cols]对应dplyr的mutate(across(...))，.SD代表选中的列集合
• 行级处理：用mapply将每个x列的元素与var列的对应行值绑定处理，替代dplyr的rowwise()，避免了分组开销，在大数据量下效率更高

运行上述代码后，得到的结果与你原dplyr代码的输出完全一致，同时data.table的实现避免了rowwise()带来的性能损耗，更适合百万级行数的场景。

内容的提问来源于stack exchange，提问作者te time