You need to enable JavaScript to run this app. Spark RDD实现多文件同索引行元素的跨文件累加求和
优惠活动
大模型
产品
解决方案
定价
更多

Spark RDD实现多文件同索引行元素的跨文件累加求和

问题描述

你手头有3个存储逗号分隔整数的文本文件,内容结构如下:

  • file1内容:
    1,2,3,4,5
    6,7,8,9,10
    
  • file2内容:
    11,12,13,14,15
    16,17,18,19,20
    
  • file3内容:
    21,22,23,24,25
    26,27,28,29,30
    

目标是跨文件对相同行索引的元素求和,最终需要得到两个结果值:

第1行(索引从0开始)总和:1+2+3+4+5 + 11+12+13+14+15 + 21+22+23+24+25
第2行总和:6+7+8+9+10 + 16+17+18+19+20 + 26+27+28+29+30

你目前编写的Spark-Scala代码如下:

val filesRDD = sc.wholeTextFiles("path to folder\\numbers\\*")
// 生成 RDD[Array[String]]
val linesRDD = filesRDD.map(elem => elem._2.split("\\n"))
// 生成 RDD[Array[Array[Int]]]
val rdd1 = linesRDD.map(line => line.map(str => str.split(",").map(_.trim.toInt)))
// 生成 RDD[Array[Int]]
val rdd2 = rdd1.map(elem => elem.map(e => e.sum))
rdd2.collect.foreach(elem => println(elem.mkString(",")))

当前代码的输出为每个文件单独计算的行和结果,不符合预期:

15,40
65,90
115,140

实际需求是将不同文件中相同索引位置的行和进行累加,即计算15+65+115、40+90+140的最终结果。

约束说明
  • 输入场景不固定:文件总数可任意调整,单个文件的行数也可能存在差异(例如部分文件有3行内容、部分文件有4行内容)
  • 技术限制:仅通过RDD API实现需求,不得使用DataFrame API
实现方案

核心思路是把逐文件存储的行和,转化为以行索引为键的键值对结构,通过按键聚合完成相同索引的数值累加。具体实现代码如下:

// 读取目标文件夹下所有文件,每个元素为(文件路径, 文件全文内容)
val filesRDD = sc.wholeTextFiles("path to folder\\numbers\\*")

val lineKeyValueRDD = filesRDD.flatMap { case (_, content) =>
  content.split("\\n")
    .map(_.trim)
    .filter(_.nonEmpty) // 过滤空行,避免空字符串转数字触发解析异常
    .zipWithIndex // 为每行内容附带它在当前文件内的索引
    .map { case (lineStr, lineIdx) =>
      // 计算单行内所有逗号分隔整数的和
      val lineSum = lineStr.split(",")
        .map(_.trim.toInt)
        .sum
      // 生成(行索引, 单行和)的键值对
      (lineIdx, lineSum)
    }
}

// 按行索引聚合,累加相同索引对应的所有行和
val indexSumRDD = lineKeyValueRDD.reduceByKey(_ + _)

// 按行索引升序排序,获取最终结果
val finalResult = indexSumRDD.sortByKey().collect()

// 打印输出
finalResult.foreach { case (idx, sum) =>
  println(s"第${idx + 1}行跨文件总和:$sum")
}

方案说明

  • 兼容任意输入规模:不管有多少个文件、单个文件有多少行,只要行的索引相同就会被聚合,缺行的文件不会对对应索引的计算产生干扰,也不会触发异常。
  • 全程仅使用RDD原生算子:涉及的wholeTextFiles、flatMap、zipWithIndex、reduceByKey、sortByKey均为RDD标准API,未使用任何DataFrame/SQL相关接口。
  • 针对当前示例输入,最终输出为:
    第1行跨文件总和:195  // 15 + 65 + 115
    第2行跨文件总和:270  // 40 + 90 + 140
    

内容的提问来源于stack exchange,提问作者bismi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 03:36:09