R语言：无需for循环重塑data frame或加速循环及多列复用技巧

问题背景 #

需要按给定比例拆分DataFrame中的y列，将拆分后的结果重塑为长格式，但原for循环在处理百万级行数据时效率极低。后续补充需求：实际数据存在50+需随拆分行复用的列，需避免逐个列名指定。

基础解决方案（无额外复用列） #

使用tidyverse中的pivot_longer函数（向量化操作，远快于循环），替代原for循环：

library(tidyverse)

# 构造数据
x = c("a", "a", "a", "b", "b", "b")
y = c(1, 2, 3, 4, 5, 6)
y_1 = c(0.5, 0.4, 0.3, 0.8, 0.9, 0.1)
y_2 = c(0.5, 0.6, 0.7, 0.2, 0.1, 0.9)

data_input = data.frame(x, y, y_1, y_2)

# 计算拆分后的值
data_input$y_1 = as.numeric(data_input$y) * as.numeric(data_input$y_1)
data_input$y_2 = as.numeric(data_input$y) * as.numeric(data_input$y_2)

# 重塑为长格式
output = data_input %>%
  pivot_longer(cols = starts_with("y_"), # 自动选中所有y_开头的拆分列
               names_to = NULL, # 无需保留原拆分列名
               values_to = "y") %>%
  select(x, y) # 保留最终需要的列

print(output)

输出结果与原循环完全一致，但处理速度提升数个数量级，尤其适配大数据集场景。

多复用列的优化方案（50+列无需逐个指定） #

当存在大量需复用的列（如示例中的z，实际有50+），无需手动列全所有复用列名，通过排除拆分相关列的方式实现：

library(tidyverse)

# 构造含多复用列的数据
x = c("a", "a", "a", "b", "b", "b")
z = c("s", "t", "p", "r", "q", "u")
# 模拟50个额外复用列z1-z50
for(i in 1:50){
  assign(paste0("z", i), sample(letters, 6))
}
# 合并为DataFrame
data_input = data.frame(x, z, mget(paste0("z", 1:50)), y, y_1, y_2)

# 计算拆分后的值
data_input$y_1 = as.numeric(data_input$y) * as.numeric(data_input$y_1)
data_input$y_2 = as.numeric(data_input$y) * as.numeric(data_input$y_2)

# 重塑：自动保留所有非拆分相关列，将y_列转为长格式
output = data_input %>%
  pivot_longer(cols = starts_with("y_"),
               names_to = NULL,
               values_to = "y_new") %>%
  select(-y) %>% # 移除原未拆分的y列
  rename(y = y_new) # 将拆分后的值列重命名为y

print(output)

关键技巧： #

• starts_with("y_")自动匹配所有拆分后的列，无需逐个列名指定
• 所有非y/y_开头的列会自动随拆分行复用，不用手动列出50+列名
• 通过移除原y列+重命名新值列，完美匹配最终输出格式

内容的提问来源于stack exchange，提问作者LaTeXFan