Scala MapReduce统计书名词频：如何同时输出最高频词及频次

嘿，我明白你的问题了——你现在的代码只能拿到最高频次的数值，却丢了对应的词语，这是因为你在reduce操作里错误地把键固定成了"max"，导致原来的词语信息被覆盖掉了。我给你几个简单的解决方案：

方法1：用reduce正确保留词频元组 #

原来的reduce函数里你把每个比较后的结果都改成了("max", ...)，这就把词语丢了。我们应该直接比较两个词频元组的频次，保留频次更高的那个完整元组：

val inputPR2Q1 = sc.textFile("/root/pagecounts-20160101-000000")
val titlecolumn = inputPR2Q1.map(line => line.split(" ")(1))
val wordCount = titlecolumn.flatMap(line => line.split("_")).map(word => (word,1)).reduceByKey(_ + _)

// 正确的reduce操作，保留频次更高的词频元组
val maxTermPair = wordCount.reduce((a, b) => if (a._2 > b._2) a else b)
println(s"max term: ${maxTermPair._1}, count: ${maxTermPair._2}")

这样maxTermPair就是包含词语和对应最高频次的元组，比如你的示例里就会得到("is", 10)，然后就能同时输出两者了。

方法2：用top方法直接取最高频次元素 #

Spark的RDD提供了top方法，可以按指定的排序规则取前N个元素，这里我们按频次降序取第1个：

// 按频次排序，取最高的1个元素
val topTerm = wordCount.top(1)(Ordering.by(_._2)).head
println(s"max term: ${topTerm._1}, count: ${topTerm._2}")

这个方法更简洁，而且对于大数据量来说，内部的排序优化可能比手动reduce更高效。

额外处理：多个词语频次相同的情况 #

如果有多个词语的频次都是最高值，上面的方法只会返回其中一个。如果你想拿到所有最高频次的词语，可以先找到最大频次值，再过滤出所有符合条件的词频对：

// 先获取最大频次数值
val maxCount = wordCount.map(_._2).max()
// 过滤出所有频次等于最大值的词频对
val allMaxTerms = wordCount.filter(_._2 == maxCount).collect()

println("所有最高频次的词语及次数：")
allMaxTerms.foreach(term => println(s"${term._1}: ${term._2}"))

这样就能输出所有和最高频次对应的词语啦～

内容的提问来源于stack exchange，提问作者Daniel