Scala中高效计算多组数值数组均值与标准差的最优方案咨询

我有n组数值数组，需要计算它们的均值和标准差。目前用foldLeft、map等函数式方法实现，计算均值的代码如下：

mean = vectors.foldLeft(Array.ofDim[Double](dimensionality)) { (x, y) =>
    (x zip y).map(z => z._1 + z._2)
  }.map(_ / sampleSize)
}

但这种方法需要多次遍历数组，而普通for循环一次遍历就能完成累加。计算标准差的现有实现效率更低：

sd = vectors.map(x => {
   (x zip _mean).map(z => Math.pow(z._1 - z._2, 2))
  }).reduce((x, y) => {
   (x zip y).map(z => z._1 + z._2)
  }).map(z => z / sampleSize).map(Math.sqrt)

这个方法涉及多次遍历，而普通循环可以在单次遍历中完成差值计算与累加。想问有没有Scala风格的高效实现方式，还是普通循环更优？

1. 单次遍历的函数式高效实现 #

可以用foldLeft一次性遍历数组，同时累加元素和与元素平方和两个核心统计量，后续基于这两个结果推导均值和标准差，全程只需要一次遍历，既保留函数式风格又兼顾效率：

// 假设vectors为Array[Array[Double]]，dimensionality是数组维度
val (sum, sumOfSquares) = vectors.foldLeft(
  (Array.ofDim[Double](dimensionality), Array.ofDim[Double](dimensionality))
) { case ((accSum, accSq), vec) =>
  val newSum = (accSum zip vec).map { case (s, v) => s + v }
  val newSq = (accSq zip vec).map { case (sq, v) => sq + v * v }
  (newSum, newSq)
}

// 计算均值
val mean = sum.map(_ / sampleSize)
// 计算标准差：利用公式 sqrt( (平方和/N) - (均值)^2 )
val sd = (sumOfSquares zip mean).map { case (sq, m) =>
  Math.sqrt(sq / sampleSize - m * m)
}

2. 极致性能选择：原地更新的命令式循环 #

如果数据量极大（比如百万级高维数组），函数式实现中zip和map产生的中间数组会带来微小开销，此时可以用Scala的命令式循环原地更新统计量，和普通循环效率完全一致：

val sum = Array.ofDim[Double](dimensionality)
val sumOfSquares = Array.ofDim[Double](dimensionality)

for (vec <- vectors; i <- 0 until dimensionality) {
  sum(i) += vec(i)
  sumOfSquares(i) += vec(i) * vec(i)
}

val mean = sum.map(_ / sampleSize)
val sd = (sumOfSquares zip mean).map { case (sq, m) => Math.sqrt(sq / sampleSize - m*m) }

结论 #

• 多数场景下优先选单次遍历的函数式实现，平衡效率和Scala风格的可读性、维护性；
• 当性能瓶颈明确时，改用原地更新的命令式循环获取极致性能。

内容的提问来源于stack exchange，提问作者xandor19