Java并行流统计词频未获预期结果，求解决方案与效率分析

问题回顾 #

你提到的这段词频统计代码，串行执行时能得到正确结果，但切换到并行流后，因为collect的combiner用了putAll，导致每个词的计数都变成1——这确实是因为多个子任务的局部TreeMap在合并时，putAll会直接用新map的键值对覆盖原有map的相同键，而不是累加计数。

正确的并行流实现方案 #

解决这个问题的核心是在combiner里合并相同键的计数，而不是直接覆盖。用merge方法就能完美实现这个逻辑，它可以指定当键重复时如何合并值。修改后的代码如下：

String[] wordCountArr = {"a", "b", "c", "a", "a", "b", "c", "d", "e"};
Stream.of(wordCountArr)
      .parallel() // 开启并行流
      .collect(TreeMap::new,
              (treeMap, str) -> treeMap.merge(str, 1, Integer::sum), // 累加单个元素的计数
              (treeMap1, treeMap2) -> treeMap2.forEach((key, value) -> treeMap1.merge(key, value, Integer::sum)) // 合并两个map的计数
      )
      .entrySet()
      .forEach(System.out::println);

代码细节解释：

• Accumulator部分：treeMap.merge(str, 1, Integer::sum) 替代了原来的if-else判断——如果str不存在就存入1，存在就把原有值加1，代码更简洁且逻辑清晰。
• Combiner部分：遍历第二个子任务的map，用merge把每个键值对合并到第一个map中，这样相同键的计数会被累加，彻底避免了覆盖问题。

执行这段并行流代码，就能得到和串行一致的正确结果：a=3 b=2 c=2 d=1 e=1。

关于并行流是否更高效？ #

并行流并不一定在所有场景下都更高效，要结合具体情况判断：

• 适合用并行流的场景：数据量足够大，且每个元素的处理逻辑（这里是简单的计数累加）是独立无状态的，此时多线程并行处理能利用多核CPU的优势，显著提升效率。
• 不适合用并行流的场景：数据量很小的时候，并行流带来的线程调度、上下文切换开销会超过并行处理带来的收益，此时串行流反而更快。另外如果处理逻辑有状态（比如依赖共享变量），还可能引入线程安全问题，需要额外的同步措施，反而得不偿失。

对于你这个词频统计的例子，如果只是处理几个元素，串行流足够高效；但如果是处理百万级甚至千万级的海量词汇，并行流才能体现出优势。

内容的提问来源于stack exchange，提问作者CatOfDestruction