如何在Scala中将CSV列读取为向量并生成对应映射?
实现方案
你当前的逐行拆分逻辑存储的是每行的列值(行维度数据),要转成目标的列维度Map结构,核心是先把所有列的容器初始化好,再逐行把值按位置塞到对应列的容器里,最后转成不可变的Vector结构。
本质逻辑就是把按行存储的二维数据做矩阵转置,原本的行索引变成列内的元素位置,原本的列索引变成Map的键。
具体实现代码
import scala.io.Source import scala.collection.mutable val source = Source.fromFile("train3.csv") val lineIter = source.getLines() // 读取首行作为表头,作为Map的键 val headers = lineIter.next().split(",").map(_.trim).toVector // 为每一列初始化可变缓存,用来逐行攒对应列的所有值 val columnBuffer = mutable.Map[String, mutable.ArrayBuffer[Double]]() headers.foreach(header => columnBuffer(header) = mutable.ArrayBuffer[Double]()) // 遍历所有数据行,按列索引把值追加到对应列的缓存里 lineIter.foreach(line => { val rowNumValues = line.split(",").map(_.trim.toDouble) rowNumValues.zipWithIndex.foreach { case (value, idx) => columnBuffer(headers(idx)).append(value) } }) source.close() // 转成目标结构:列名 -> 对应列值组成的Vector val targetMap = columnBuffer.map { case (colName, buffer) => colName -> buffer.toVector }.toMap
注意事项
- 原代码中
println(cols)属于未定义变量,实际对应拆分得到的行数据变量lines,直接运行会触发编译错误 - 拆分字符串转数值时如果存在空值、非数值格式的内容,需要额外加判空和格式校验逻辑,否则会抛类型转换异常
- 大文件读取时记得手动调用
source.close()释放文件句柄,避免文件占用
内容的提问来源于stack exchange,提问作者babilon1210
相关产品推荐
相关产品推荐

