You need to enable JavaScript to run this app. Spark Scala作业UDF计算同数据集得分多次运行结果不一致问题求助
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala作业UDF计算同数据集得分多次运行结果不一致问题求助

Spark Scala作业同数据集多次运行得分结果不稳定排查

问题描述

运行在Spark集群上的Scala得分匹配作业,针对完全一致的输入数据集连续执行3次运行,最终输出的得分结果存在细微偏差。
作业核心得分选择逻辑封装在UDF中,UDF接收两个入参:

  • Seq类型的得分集合
  • 待评估的得分数量参数
    当前测试场景下仅需评估1个得分,按业务逻辑UDF应直接返回传入Seq中的最高得分,但实际返回的最高得分结果随不同运行批次发生变化。目前暂未定位到结果不稳定的触发原因,求助社区协助排查,如有需要可补充更多作业细节信息。

三次运行流程对比

RUN ONE 执行流程

  • 从S3拉取原始数据
  • 开启谓词下推,拉取符合过滤条件的数据子集
  • 按业务规则过滤无效事件,执行repartition、mapPartition完成数据清洗
  • 过滤输出符合合规要求的有效数据
  • 对两个清洗后的DataFrame执行Union合并操作
  • 与小维度表执行Join关联
  • 执行GroupBy + Aggregate计算,得到各维度下的指标求和结果
  • 执行GroupBy + Aggregate收集,得到各维度分组下的求和结果List集合
  • 调用UDF执行得分选择逻辑(UDF原生业务为随机选择求和结果,当前测试态逻辑为仅选择集合内的最高求和结果)
  • 与小维度表执行最后一次Join关联
  • 对输出数据做分区后写入S3

RUN TWO 执行流程

与RUN ONE的核心差异:移除流程中的repartition操作,UDF调用时机调整到最后一次Join关联完成之后,其余数据处理流程完全一致

  • 从S3拉取原始数据
  • 开启谓词下推,拉取符合过滤条件的数据子集
  • 按业务规则过滤无效事件,执行mapPartition完成数据清洗
  • 过滤输出符合合规要求的有效数据
  • 对两个清洗后的DataFrame执行Union合并操作
  • 与小维度表执行Join关联
  • 执行GroupBy + Aggregate计算,得到各维度下的指标求和结果
  • 执行GroupBy + Aggregate收集,得到各维度分组下的求和结果List集合
  • 与小维度表执行最后一次Join关联
  • 调用UDF执行得分选择逻辑(UDF原生业务为随机选择求和结果,当前测试态逻辑为仅选择集合内的最高求和结果)
  • 对输出数据做分区后写入S3

RUN THREE 执行流程

与RUN TWO的核心差异:额外传入Spark SQL配置参数spark.sql.shuffle.partitions=400,其余流程完全一致

  • 数据处理逻辑、步骤与RUN TWO保持一致,无额外调整

高频问题排查方向

  • UDF存在非确定性判断问题:检查UDF内的最大值选择逻辑,是否存在浮点数精度比较无阈值、集合遍历顺序隐式受JVM哈希影响的问题,导致数值接近的情况下选择结果不稳定
  • 上游聚合收集Seq的过程存在不确定性:Spark中使用collect_list类聚合算子收集集合时,若未对聚合结果设置显式排序规则,收集得到的Seq元素顺序会随shuffle分区数、数据分布的变化发生改变;同时浮点类型的累加计算会受累加顺序影响产生细微数值偏差,导致集合内的最高值本身存在差异
  • 数据分区调整引入关联偏差:repartition、shuffle分区数的变化会改变数据的分布位置,若Join关联的键存在隐式类型转换、空值匹配偏差,会导致部分数据关联结果不稳定,最终传入UDF的Seq集合内容本身存在差异

内容的提问来源于stack exchange,提问作者sgallagher

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 10:06:01