MapReduce框架中Reduce单次调用与0至N次调用的差异探讨

MapReduce是源自谷歌概念论文的通用概念，和函数式编程中的map/reduce并非同一概念。目前其维基百科条目存在内容不一致的问题，推测是因为部分内容遵循MongoDB的定义，另一部分则遵循Hadoop的定义。

核心争议点 #

Reduce的调用逻辑存在两种不同定义：

• 每个键仅调用一次Reduce，传入该键对应的所有Map输出迭代器
• Reduce可被调用0至N次，通过折叠前序Reduce的输出结果最终得到单一值

类型签名的矛盾 #

条目给出的Reduce类型签名并未强制要求输出与输入兼容：

Map(k1,v1) → list(k2,v2)
Reduce(k2,list(v2)) → list((k3, v3))

该签名对应的是每个键仅调用一次Reduce的逻辑，这也和Hadoop相关讨论的观点一致。

但条目在计算社交网络特定年龄人群平均联系人数量的示例中，提到输出包含C_new对多次Reduce处理的正确性至关重要——这对应的是谷歌论文中要求Reduce输出与输入兼容的类型签名：

map(k1,v1) → list(k2,v2)
reduce(k2,list(v2)) → list(v2)

在这类场景下，MongoDB因Reduce可能被多次调用，必须依赖C_new保证结果正确；而Hadoop因Reduce仅单次调用，无需该字段。

修正建议 #

需要对维基百科条目进行修正，统一内容表述，并明确标注不同框架（如Hadoop、MongoDB）在Reduce调用逻辑上的差异，避免混淆。

内容的提问来源于stack exchange，提问作者ae1020