MapReduce统计年度电影平均评分计算结果异常问题求助
年度电影平均评分MapReduce程序计算偏差问题
程序原有核心逻辑
- Mapper组件:按制表符拆分输入文本字段,提取影片上映年份与对应评分数值,向Reducer输出
<年份, 评分>结构的键值对 - Reducer组件:聚合同一年份的所有评分数据,累加评分总和后结合总评分条数计算年度平均值并输出
实际运行异常表现
程序输出存在明显计算偏差:1911年的平均评分计算结果与实际统计值一致,但1912年、1913年及之后年份的计算结果完全失真,实际输出示例:
- 1911 6.9
- 1912 5.25
- 1913 2.2
排查支撑材料
- Mapper、Reducer、主驱动类的完整实现代码
- 仅保留核心关联字段的输入样本数据集
诉求:定位计算异常的根本原因,解决后续年份平均评分计算失真的问题
内容的提问来源于stack exchange,提问作者fnas
相关产品推荐
相关产品推荐

