Scala Spark中处理多文本文件时无法全局聚合词频的问题

问题原因和解决办法 #

1. 单词带空白字符，被识别为不同key #

你给出的结果里显示(hi , 1)，注意hi后面带有空格，这说明不同文件里的"hi"可能附带了不同的空白字符（比如前导/尾随空格），导致Spark将它们判定为不同的单词，无法合并计数。

修复方式很直接：提取单词后先去除前后空白，同时改用任意空白字符作为分割规则（覆盖多空格、制表符等场景）：

val text = sc.wholeTextFiles("src/folder")
  .map(_._2) // 提取每个文件的文本内容
  .flatMap(_.split("\\s+")) // 按任意空白字符分割，避免多空格产生空字符串
  .map(word => (word.trim, 1)) // 去除单词前后的空白字符
  .reduceByKey(_ + _)

如果需要忽略大小写（比如Hi和hi算同一个单词），可以再追加转小写处理：word.trim.toLowerCase

2. 验证单词的真实内容 #

如果调整后仍未生效，建议先打印提取到的原始单词，排查是否存在隐藏特殊字符（比如全角空格、换行符残留）：

sc.wholeTextFiles("src/folder")
  .map(_._2)
  .flatMap(_.split(" "))
  .foreach(word => println(s"提取到的单词: '$word'")) // 用单引号包裹，直观查看空白字符

3. 强制全局合并（可选） #

本地模式运行时，偶尔会因分区问题导致临时结果看起来未合并，但reduceByKey本身是全局聚合操作。若要彻底确认，可以指定1个分区强制合并：

val text = sc.wholeTextFiles("src/folder")
  .map(_._2)
  .flatMap(_.split("\\s+"))
  .map(word => (word.trim, 1))
  .reduceByKey(_ + _, 1) // 指定1个分区，确保所有计数在同一分区合并

原代码失效的核心原因 #

你原代码中使用split(" ")仅按单个空格分割，若文本存在多连续空格会生成空字符串；同时单词前后带空格时，会被判定为不同的key，最终导致reduceByKey无法将同词义的计数合并。换成split("\\s+")即可适配各种空白分割场景。

内容的提问来源于stack exchange，提问作者llD