R语言大尺寸dataframe反向行列值匹配的高效实现方案

• 核心场景：处理含25万行记录的DataFrame，核心字段为Row、Col；需对每一行满足Row = a、Col = b的记录，定位到对称行Row = b、Col = a的对应记录，将该记录的normalised_weight列值存入当前行预留的空列weight_ji
• 原始实现局限：最初采用逐行遍历的循环逻辑，代码可正常运行，但执行耗时极长，效率无法满足大规模数据的处理要求

原始循环实现代码 #

for (i in 1:nrow(data)){
    a <- data[i,]$Row
    b <- data[i,]$Col
    data[i,]$weight_ji <- data[which(data$Col==a&data$Row==b),]$normalised_weight
}

基础方案效率对比测试 #

针对无重复配对值的规则数据场景，对三类实现方案做运行耗时对比，测试代码如下：

library(dplyr)
set.seed(123)

data <- 
  data.frame(
    a = 1:10,
    b = 10:1,
    normalizeweight = sample(1:100, 10, replace = T) / 100
  )

# 方案1：merge自关联匹配
start <- Sys.time()
result <- merge(data, data, by.x = c('a', 'b'), by.y = c('b', 'a'))
time1 <- Sys.time()-start

# 方案2：dplyr连接匹配
start <- Sys.time()
result <- data %>%
  left_join(data, data, by = c("a" = "b", "b" = "a"))
time2 <- Sys.time()-start

# 方案3：向量索引匹配
start <- Sys.time()
result <- within(
  data,
  weight_ji <- normalizeweight[match(b, a)]
)
time3 <- Sys.time()-start

测试结论：无重复值的规则数据场景下，向量索引匹配方案的运行速度最快。但该方案存在适配局限——当数据为存在重复配对值的不规则结构时，原向量匹配逻辑会失效，需要针对重复值场景做调整优化。

重复配对值场景的适配实现 #

构造含重复配对值的测试数据集验证适配方案，测试数据如下：

data <- 
  data.frame(
    a = c(1, 1, 1, 2, 2, 4, 4),
    b = c(1, 2, 4, 1, 2, 1, 4),
    normalizeweight = sample(1:100, 7, replace = T) / 100
  )

适配重复值场景的优化向量匹配代码如下：

start <- Sys.time()
result <- within(
  data,
  weight_ji <- normalizeweight[order(a)][order(b, a)]
)
time4 <- Sys.time()-start

自关联方案的冗余列优化技巧 #

使用merge做自关联时，为避免原始数据列过多生成大量带.x/.y后缀的冗余列，可仅选取参与匹配、取值的关键列构建映射关系，实现代码如下：

data <- merge(
  data, 
  data[, c("Col", "Row", "normalised_weight")], 
  by.x = c('Row', 'Col'), 
  by.y = c('Col', 'Row')
) %>%
  dplyr::rename(
    normalised_weight = normalised_weight.x,  
    weight_ji = normalised_weight.y
  )

内容的提问来源于stack exchange，提问作者Camchou