Scala中如何将Array[Row]转为DenseMatrix[Double]？求更优实现

你现在的实现虽然能跑，但确实可以用更贴合Scala函数式风格的方式优化，同时砍掉没必要的字符串转换和可变集合操作。这里给你两个更简洁高效的方案：

方案1：类型匹配+函数式转换（兼容多种数字类型） #

如果你的Row里可能混有Int、Long这类数字类型，用模式匹配能安全统一转成Double：

import breeze.linalg.DenseMatrix
import org.apache.spark.sql.Row

val rows: Array[Row] = df2.collect()

// 全程用map替代显式循环，直接对Row元素做类型转换
val doubleRows: Array[Array[Double]] = rows.map { row =>
  row.toSeq.map {
    case d: Double => d
    case num: Number => num.doubleValue() // 自动处理Int、Long等数字类型
    case unexpected => throw new IllegalArgumentException(s"无法转换的类型：${unexpected.getClass}")
  }.toArray
}

// 直接构造DenseMatrix
val dm = DenseMatrix(doubleRows:_*)

方案2：按索引直接提取（已知列全为Double类型） #

如果确定DataFrame的所有列都是Double类型，用索引提取会更高效：

import breeze.linalg.DenseMatrix
import org.apache.spark.sql.Row

val rows: Array[Row] = df2.collect()

// 用Array.tabulate按列索引直接获取Double值
val doubleRows: Array[Array[Double]] = rows.map(row => 
  Array.tabulate(row.length)(idx => row.getAs[Double](idx))
)

val dm = DenseMatrix(doubleRows:_*)

为什么这俩方案更优？ #

• 砍掉可变集合：用map替代显式for循环和ArrayBuffer，更符合Scala函数式编程的思路，代码简洁还线程安全。
• 避免冗余转换：直接从Row里提取数字类型，跳过了toString.toDouble这种低效又容易踩坑的步骤（比如元素不是数字字符串会直接报错）。
• 类型更安全：通过模式匹配或getAs[Double]明确指定类型，比字符串转换可靠得多。

内容的提问来源于stack exchange，提问作者MLeiria