Spark Scala作业UDF计算同数据集得分多次运行结果不一致问题求助
Spark Scala作业同数据集多次运行得分结果不稳定排查
问题描述
运行在Spark集群上的Scala得分匹配作业,针对完全一致的输入数据集连续执行3次运行,最终输出的得分结果存在细微偏差。
作业核心得分选择逻辑封装在UDF中,UDF接收两个入参:
- Seq类型的得分集合
- 待评估的得分数量参数
当前测试场景下仅需评估1个得分,按业务逻辑UDF应直接返回传入Seq中的最高得分,但实际返回的最高得分结果随不同运行批次发生变化。目前暂未定位到结果不稳定的触发原因,求助社区协助排查,如有需要可补充更多作业细节信息。
三次运行流程对比
RUN ONE 执行流程
- 从S3拉取原始数据
- 开启谓词下推,拉取符合过滤条件的数据子集
- 按业务规则过滤无效事件,执行
repartition、mapPartition完成数据清洗 - 过滤输出符合合规要求的有效数据
- 对两个清洗后的DataFrame执行Union合并操作
- 与小维度表执行Join关联
- 执行GroupBy + Aggregate计算,得到各维度下的指标求和结果
- 执行GroupBy + Aggregate收集,得到各维度分组下的求和结果List集合
- 调用UDF执行得分选择逻辑(UDF原生业务为随机选择求和结果,当前测试态逻辑为仅选择集合内的最高求和结果)
- 与小维度表执行最后一次Join关联
- 对输出数据做分区后写入S3
RUN TWO 执行流程
与RUN ONE的核心差异:移除流程中的repartition操作,UDF调用时机调整到最后一次Join关联完成之后,其余数据处理流程完全一致
- 从S3拉取原始数据
- 开启谓词下推,拉取符合过滤条件的数据子集
- 按业务规则过滤无效事件,执行
mapPartition完成数据清洗 - 过滤输出符合合规要求的有效数据
- 对两个清洗后的DataFrame执行Union合并操作
- 与小维度表执行Join关联
- 执行GroupBy + Aggregate计算,得到各维度下的指标求和结果
- 执行GroupBy + Aggregate收集,得到各维度分组下的求和结果List集合
- 与小维度表执行最后一次Join关联
- 调用UDF执行得分选择逻辑(UDF原生业务为随机选择求和结果,当前测试态逻辑为仅选择集合内的最高求和结果)
- 对输出数据做分区后写入S3
RUN THREE 执行流程
与RUN TWO的核心差异:额外传入Spark SQL配置参数spark.sql.shuffle.partitions=400,其余流程完全一致
- 数据处理逻辑、步骤与RUN TWO保持一致,无额外调整
高频问题排查方向
- UDF存在非确定性判断问题:检查UDF内的最大值选择逻辑,是否存在浮点数精度比较无阈值、集合遍历顺序隐式受JVM哈希影响的问题,导致数值接近的情况下选择结果不稳定
- 上游聚合收集Seq的过程存在不确定性:Spark中使用
collect_list类聚合算子收集集合时,若未对聚合结果设置显式排序规则,收集得到的Seq元素顺序会随shuffle分区数、数据分布的变化发生改变;同时浮点类型的累加计算会受累加顺序影响产生细微数值偏差,导致集合内的最高值本身存在差异 - 数据分区调整引入关联偏差:
repartition、shuffle分区数的变化会改变数据的分布位置,若Join关联的键存在隐式类型转换、空值匹配偏差,会导致部分数据关联结果不稳定,最终传入UDF的Seq集合内容本身存在差异
内容的提问来源于stack exchange,提问作者sgallagher
相关产品推荐
相关产品推荐

