Scala Spark中reduceByKey使用自定义函数报类型不匹配如何解决

你遇到的报错和逻辑错误来自以下几个问题：

• 大小写与拼写错误：Scala是大小写敏感语言，mutable.map、string、reducebykey均为错误写法，正确应为mutable.Map、String、reduceByKey；同时代码中出现了weithg的拼写错误，正确为weight
• Map取值逻辑错误：不能通过.weight的方式访问Map的键值，需要用x("weight")或者带默认值的x.getOrElse("weight", 0)避免键不存在导致的异常
• 类型推断失败：如果你的RDD没有显式指定泛型，Spark无法正确识别value的类型，就会抛出type mismatch required Nothing的错误

首先确认你已经导入必要的依赖：

import org.apache.spark.rdd.RDD
import scala.collection.mutable

方案1：保留Map结构输出 #

如果你需要最终结果仍保留Map结构，可按以下方式实现：

// 显式指定RDD泛型，避免类型推断错误
val rdd: RDD[(String, mutable.Map[String, Int])] = sc.parallelize(Seq(
  ("a", mutable.Map("weight" -> 1)),
  ("a", mutable.Map("weight" -> 2))
))

// 自定义combine函数
def combine(x: mutable.Map[String, Int], y: mutable.Map[String, Int]): mutable.Map[String, Int] = {
  x("weight") = x.getOrElse("weight", 0) + y.getOrElse("weight", 0)
  x
}

val resultRDD = rdd.reduceByKey(combine)
// 输出结果为：("a", mutable.Map("weight" -> 3))

方案2：直接输出权重总和（匹配你的预期输出） #

如果你只需要最终输出("a"->3)的结构，不需要保留Map，直接提取权重值再归并效率更高：

val rdd: RDD[(String, mutable.Map[String, Int])] = sc.parallelize(Seq(
  ("a", mutable.Map("weight" -> 1)),
  ("a", mutable.Map("weight" -> 2))
))

val resultRDD = rdd.mapValues(_.getOrElse("weight", 0))
  .reduceByKey(_ + _)
// 输出结果为：("a", 3)

你可以通过collect方法打印结果验证：

resultRDD.collect().foreach(println)
// 方案2的输出为：(a,3)

内容的提问来源于stack exchange，提问作者kailing