如何无重复地对数据框每两列配对应用函数？

嘿，我来帮你搞定这个问题！你需要处理的是一个超大的数据框——2000行、40000列，要按每两列一组无重复地应用函数（比如示例里的相加），对吧？下面给你几个实用的方案，兼顾效率和可读性：

方案一：Base R 高效向量化实现（推荐大数据场景） #

这个方法完全用向量运算，没有逐行循环，处理40000列的大数据框速度很快，内存占用也可控。

先看你的示例数据：

set.seed(42)
df <- as.data.frame(matrix(rnorm(16),4))
df
#          V1         V2        V3         V4
# 1 1.3709584 0.40426832 2.0184237 -1.3888607
# 2 -0.5646982 -0.10612452 -0.0627141 -0.2787888
# 3 0.3631284 1.51152200 1.3048697 -0.1333213
# 4 0.6328626 -0.09465904 2.2866454 0.6359504

然后执行分组运算：

# 生成每两列一组的索引分组（比如第1-2列为一组，3-4列为一组...）
group_indices <- split(seq_along(df), ceiling(seq_along(df)/2))

# 对每组应用相加操作，转换为结果数据框
result_df <- as.data.frame(sapply(group_indices, function(idx) {
  df[[idx[1]]] + df[[idx[2]]]
}))

# 给结果列起个清晰的名字（可选）
colnames(result_df) <- paste0("Group", seq_len(ncol(result_df)))

# 查看结果
result_df
#       Group1     Group2
# 1 1.77522673  0.6295630
# 2 -0.67082272 -0.3415029
# 3 1.87465040  1.1715484
# 4 0.53820356  2.9225958

如果你的自定义函数不是相加，只需要把df[[idx[1]]] + df[[idx[2]]]替换成你的函数即可，比如两列相乘就改成df[[idx[1]]] * df[[idx[2]]]。

方案二：Tidyverse 风格实现（更易读） #

如果你习惯用dplyr和tidyr这类工具，这个方法代码更直观，适合后续还要做更多数据处理的场景：

library(dplyr)
library(tidyr)

result_df_tidy <- df %>%
  # 添加行号，确保每行的分组运算对应正确
  mutate(row_id = row_number()) %>%
  # 把宽格式转为长格式，方便分组
  pivot_longer(-row_id, names_to = "col_name") %>%
  # 根据列名生成组号（V1、V2为Group1，V3、V4为Group2...）
  mutate(group = ceiling(as.integer(sub("V", "", col_name))/2)) %>%
  # 按行和组分组，计算每组的和
  group_by(row_id, group) %>%
  summarise(sum_value = sum(value), .groups = "drop") %>%
  # 转回宽格式，得到最终结果
  pivot_wider(names_from = group, values_from = sum_value, names_prefix = "Group") %>%
  # 去掉多余的行号列
  select(-row_id)

result_df_tidy
# # A tibble: 4 × 2
#   Group1 Group2
#    <dbl>  <dbl>
# 1  1.78   0.630
# 2 -0.671 -0.342
# 3  1.87   1.17 
# 4  0.538  2.92 

注意事项 #

• 40000列分组后会得到20000列的结果数据框，内存占用大概在320MB左右（数值型数据按8字节/元素计算），一般机器都能轻松应对；
• 如果你的自定义函数需要处理更复杂的逻辑，只需要在对应位置替换运算代码即可，比如用reduce(value, your_custom_function)来处理组内的两列值。

内容的提问来源于stack exchange，提问作者kin182