Spark-shell与Oozie运行Spark任务结果不一致问题咨询

• 环境配置不一致
  spark-shell默认走本地/客户端模式，Oozie提交的一般是YARN集群模式，两者的Spark参数可能被不同配置覆盖。比如spark.sql.shuffle.partitions的默认值、内存分配（spark.driver.memory/spark.executor.memory）差异，会导致shuffle过程、数据分区逻辑变化，进而出现浮点数精度、聚合结果顺序这类细微差异。可以对比spark-shell里spark.conf.getAll的输出，和Oozie的job.properties/workflow.xml里的Spark配置，重点核对shuffle、内存、序列化相关参数。

• 依赖包版本不匹配
  spark-shell自带的依赖（比如Scala、Hadoop客户端版本）和Oozie任务打包时用的依赖可能存在版本差。比如Spark 2.x对应Scala 2.11，但Oozie打包误用了2.10的依赖，或者Hadoop版本不一致，会导致部分API的行为出现细微偏差。可以分别查看spark-shell里sc.version、scala.util.Properties.versionNumberString的输出，以及Oozie任务运行日志里的版本信息做对比。

• 输入数据源存在细微变化
  就算代码没改，两次运行时读取的数据源可能已经更新。比如HDFS上的数据源在spark-shell运行后、Oozie执行前有新数据写入，或者文件块分布、副本情况不同，导致Spark读取时的分区顺序变化，最终输出结果的顺序（未指定orderBy时）或聚合结果出现差异。可以先把数据源复制成固定快照，分别用两种方式读取快照数据，验证结果是否一致。

• 序列化方式差异
  spark-shell默认可能用Java序列化，而Oozie任务里可能配置了Kryo序列化（或者反过来）。不同序列化方式处理复杂对象（比如自定义case class）时，可能在浮点数、日期类型的解析上出现细微差异。可以分别查看两者的spark.serializer配置值。

• 并行度与任务执行顺序影响
  Spark是分布式计算，没有指定严格执行顺序或分区规则时，不同环境下的任务并行度不同，会导致shuffle后的分区数据顺序变化，最终输出结果的顺序出现差异（如果结果没做排序，看起来像是数据不一致，但实际内容是对的）。可以在代码末尾加上orderBy固定输出顺序，再对比两次结果。

不少同行在项目里遇到过这类情况，大多是上述某一种或几种原因导致的。

内容的提问来源于stack exchange，提问作者Janani