Spark RDD实现多文件同索引行元素的跨文件累加求和
问题描述
你手头有3个存储逗号分隔整数的文本文件,内容结构如下:
file1内容:1,2,3,4,5 6,7,8,9,10file2内容:11,12,13,14,15 16,17,18,19,20file3内容:21,22,23,24,25 26,27,28,29,30
目标是跨文件对相同行索引的元素求和,最终需要得到两个结果值:
第1行(索引从0开始)总和:
1+2+3+4+5 + 11+12+13+14+15 + 21+22+23+24+25
第2行总和:6+7+8+9+10 + 16+17+18+19+20 + 26+27+28+29+30
你目前编写的Spark-Scala代码如下:
val filesRDD = sc.wholeTextFiles("path to folder\\numbers\\*") // 生成 RDD[Array[String]] val linesRDD = filesRDD.map(elem => elem._2.split("\\n")) // 生成 RDD[Array[Array[Int]]] val rdd1 = linesRDD.map(line => line.map(str => str.split(",").map(_.trim.toInt))) // 生成 RDD[Array[Int]] val rdd2 = rdd1.map(elem => elem.map(e => e.sum)) rdd2.collect.foreach(elem => println(elem.mkString(",")))
当前代码的输出为每个文件单独计算的行和结果,不符合预期:
15,40 65,90 115,140
实际需求是将不同文件中相同索引位置的行和进行累加,即计算15+65+115、40+90+140的最终结果。
约束说明
- 输入场景不固定:文件总数可任意调整,单个文件的行数也可能存在差异(例如部分文件有3行内容、部分文件有4行内容)
- 技术限制:仅通过RDD API实现需求,不得使用DataFrame API
实现方案
核心思路是把逐文件存储的行和,转化为以行索引为键的键值对结构,通过按键聚合完成相同索引的数值累加。具体实现代码如下:
// 读取目标文件夹下所有文件,每个元素为(文件路径, 文件全文内容) val filesRDD = sc.wholeTextFiles("path to folder\\numbers\\*") val lineKeyValueRDD = filesRDD.flatMap { case (_, content) => content.split("\\n") .map(_.trim) .filter(_.nonEmpty) // 过滤空行,避免空字符串转数字触发解析异常 .zipWithIndex // 为每行内容附带它在当前文件内的索引 .map { case (lineStr, lineIdx) => // 计算单行内所有逗号分隔整数的和 val lineSum = lineStr.split(",") .map(_.trim.toInt) .sum // 生成(行索引, 单行和)的键值对 (lineIdx, lineSum) } } // 按行索引聚合,累加相同索引对应的所有行和 val indexSumRDD = lineKeyValueRDD.reduceByKey(_ + _) // 按行索引升序排序,获取最终结果 val finalResult = indexSumRDD.sortByKey().collect() // 打印输出 finalResult.foreach { case (idx, sum) => println(s"第${idx + 1}行跨文件总和:$sum") }
方案说明
- 兼容任意输入规模:不管有多少个文件、单个文件有多少行,只要行的索引相同就会被聚合,缺行的文件不会对对应索引的计算产生干扰,也不会触发异常。
- 全程仅使用RDD原生算子:涉及的
wholeTextFiles、flatMap、zipWithIndex、reduceByKey、sortByKey均为RDD标准API,未使用任何DataFrame/SQL相关接口。 - 针对当前示例输入,最终输出为:
第1行跨文件总和:195 // 15 + 65 + 115 第2行跨文件总和:270 // 40 + 90 + 140
内容的提问来源于stack exchange,提问作者bismi
相关产品推荐
相关产品推荐

