如何在Scala/Spark中打印RowMatrix？如何在Scala中查看并打印小型RowMatrix到屏幕？

嘿，刚好对这个场景熟得很！在Scala/Spark里打印RowMatrix其实不难，尤其是小型的直接输出到屏幕，我给你整理几种实用的方法：

一、直接打印小型RowMatrix到屏幕 #

RowMatrix的底层是RDD[Vector]，对于数据量很小的矩阵，我们可以直接把数据拉到Driver节点来打印，注意只在小型数据集上这么做，否则会触发OOM（内存溢出）。

假设你已经有了一个RowMatrix实例，比如：

import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.linalg.distributed.RowMatrix

// 构造一个简单的RowMatrix示例
val rows = sc.parallelize(Seq(
  Vectors.dense(1.0, 2.0, 3.0),
  Vectors.dense(4.0, 5.0, 6.0),
  Vectors.dense(7.0, 8.0, 9.0)
))
val mat = new RowMatrix(rows)

方法1：转成本地数组循环打印 #

这是最直接的方式，把所有行拉到本地后逐个输出：

// collect()会将整个RDD的数据拉到Driver，仅适合小型矩阵
mat.rows.collect().foreach { vec =>
  println(vec.toArray.mkString(", "))
}

输出结果：

1.0, 2.0, 3.0
4.0, 5.0, 6.0
7.0, 8.0, 9.0

方法2：转成DataFrame用show()打印 #

如果想让输出更规整（带列名），可以转成DataFrame后调用Spark内置的show()方法：

import spark.implicits._

// 将Vector转为数组，再映射为DataFrame
val df = mat.rows.map(_.toArray).toDF("matrix_rows")
// show(false)会完整显示内容，不会截断
df.show(false)

输出结果：

+-------------+
|matrix_rows  |
+-------------+
|[1.0, 2.0, 3.0]|
|[4.0, 5.0, 6.0]|
|[7.0, 8.0, 9.0]|
+-------------+

二、处理较大的RowMatrix（避免内存溢出） #

如果你的RowMatrix数据量较大，绝对不能用collect()，否则会把大量数据拉到Driver节点导致内存崩溃。可以用以下方式：

方法1：只打印前N行 #

用take(n)只拉取前n行数据到本地，既满足查看需求，又不会占用太多内存：

// 仅打印前3行，n可以根据需求调整
mat.rows.take(3).foreach { vec =>
  println(s"Row: ${vec.toArray.mkString(", ")}")
}

方法2：在Executor端打印（适合调试） #

如果想查看全量数据但不想拉到Driver，可以用foreachPartition在各个Executor节点上打印，不过日志会分散在各个节点的日志文件中：

mat.rows.foreachPartition { rowIter =>
  rowIter.foreach { vec =>
    println(s"Executor端打印行: ${vec.toArray.mkString(", ")}")
  }
}

内容的提问来源于stack exchange，提问作者Oleg Melnikov