为什么Dataproc运行Hadoop作业输出的结果和本地不一致？

• Hadoop版本兼容性问题
  本地开发使用的Hadoop版本与Dataproc集群部署的Hadoop版本不一致，不同版本的MapReduce框架在分片逻辑、键值对排序规则、默认输出格式配置等层面存在行为差异，相同业务逻辑在不同版本下可能得到不同结果。
• 依赖包冲突
  如果作业没有将依赖的第三方库打包进最终的jar包（即未构建fat jar），Dataproc集群会优先加载平台自带的依赖库版本，若集群自带的依赖版本和本地开发使用的版本存在API或实现差异，会导致bigram统计逻辑执行错误。
• 分片边界处理缺失
  本地测试时输入文件通常体积较小不会被拆分，单个Mapper即可处理全部内容，而Dataproc运行时大文件会被拆分为多个分片分发到不同节点执行，若你的Mapper逻辑没有处理分片边界的文本拼接逻辑，会导致分片首尾的相邻文本被错误拆分或拼接，进而影响统计结果。
• 集群默认配置差异
  本地Hadoop和Dataproc集群的默认配置存在差异，常见的会影响结果的配置包括：默认字符编码、MapReduce输出分隔符、文本行读取规则等，配置差异会直接导致文本拆分、输出格式不符合预期。
• 输出路径残留干扰
  如果Dataproc作业指定的输出路径存在之前作业的残留文件，作业运行前没有清空输出路径，会导致最终输出结果混入旧的无效数据。

内容的提问来源于stack exchange，提问作者dvb