R语言大数据集行间高效比对：统计符合条件观测数的问题

数据生成与需求说明 #

首先生成测试数据：

set.seed(2)
data <- data.frame(matrix(ncol=10,nrow=100,sample(c(0,1),1000,replace=TRUE)))

需求：对每条观测，统计剩余所有观测（即除自身外的99条）中，与它至少3个变量取值相同的观测数量。

结果不一致的原因 #

原嵌套循环代码的逻辑错误 #

原代码：

result<-c()
for(i in 1:nrow(data)){
  for(j in (i+1):nrow(data)){
   result<-c(result,sum(data[i,]==data[j,])>=3)
  }
data$AtLeastThree[i]<-sum(result)
}

存在两个致命问题：

• result未在每次循环内重置：result在循环外初始化，每次i循环时会追加新的比较结果，导致sum(result)是前i次循环中所有j>i'的符合条件的观测总数，而非当前i对应的剩余观测数量。
• 未统计j<i的观测：代码只遍历了j>i的观测，完全漏掉了j<i的部分，而需求是统计所有剩余观测（j≠i），即使修复result的重置问题，原代码也只能得到j>i的符合条件数量，而非全部剩余观测的数量。

优化后代码的局限性 #

优化后的代码：

set.seed(2)
data<-data.frame(matrix(ncol=10,nrow=100,sample(c(0,1),1000,replace=TRUE)))

res <- c(sapply(seq_len(nrow(data) - 1), function(i) {
  sum(rowSums(
    matrix(
      mapply(`==`, data[i,], data[-(1:i),]),
      nrow = nrow(data) - i, ncol = ncol(data)
    )
  ) >= 3)
}), 0)

仅统计了每个i对应的j>i的符合条件观测数量，并未包含j<i的部分，因此结果是原需求的一半（仅统计了下半三角的比较），和原代码的错误累积结果自然不一致。

更高效的实现方式 #

利用矩阵运算替代循环，大幅提升效率：

# 将数据框转为矩阵
mat <- as.matrix(data)
# 计算两两观测的相同变量数矩阵：tcrossprod计算同是1的数量，tcrossprod(1-mat)计算同是0的数量
same_count <- tcrossprod(mat) + tcrossprod(1 - mat)
# 对角线是观测自身与自身的相同数，设为0（排除自身）
diag(same_count) <- 0
# 每行求和，统计相同数≥3的观测数量
final_result <- rowSums(same_count >= 3)

这种方式依赖R的向量化运算，避免了嵌套循环的低效，对于100行的数据集几乎瞬间完成，即使扩展到更大规模数据也能保持高效。

内容的提问来源于stack exchange，提问作者Kivis