You need to enable JavaScript to run this app. Spark 3.0.1 Scala中sampleBy分层抽样与sample行为一致问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

Spark 3.0.1 Scala中sampleBy分层抽样与sample行为一致问题咨询

问题原因说明

测试结果完全重合的本质原因

你的代码不存在逻辑错误,但测试场景刚好抹平了分层抽样与简单随机抽样的所有差异,导致两类方法的输出完全一致:

  • 你构造的分层抽样比例集合fractions中,所有Language取值对应的抽样比例均为0.5,与调用普通data.sample()时传入的全局抽样比例完全相等。
  • Spark 3.0.1版本中,data.stat.sampleBy的底层实现逻辑为:对每一行数据,先提取该行在分层字段上的取值,从传入的fractions中查到对应分层的抽样比例,再调用与全局sample完全同源的随机判断逻辑(基于传入种子生成哈希值,与比例值比较决定是否保留该行)完成抽样。
  • 当所有分层对应的抽样比例与全局抽样比例完全相等时,从Map中取出的比例值与全局传入的比例值没有差异,只要种子一致,每一行的保留判断结果就会完全相同,最终输出的抽样结果自然100%重合,不属于功能异常。

对sampleBy功能的认知偏差

你目前对Spark内置sampleBy的功能存在理解偏差:

  • 该方法不会自动按照原始数据的分层占比完成等比例抽样,所有分层的抽样规则100%由你传入的fractions Map决定。
  • 分层抽样的核心价值是支持不同分层配置差异化的抽样比例,例如对高价值样本层设置90%的抽样率,对普通样本层设置10%的抽样率。当你给所有分层设置完全相同的抽样比例时,sampleBy的行为会完全退化为普通的全局随机抽样,自然无法体现分层特性。

可验证差异的测试方法

你可以修改fractions中的比例值,制造不同分层的抽样比例差,即可立刻观察到两类抽样的结果区别,示例代码:

// 为每个分层设置差异化的抽样比例
val fractions = Map(
  "Java" -> 0.1,   // Java层仅抽取10%的样本
  "Python" -> 0.9, // Python层抽取90%的样本
  "Scala" -> 0.5   // Scala层抽取50%的样本
)
val stratified_subsample = data.stat.sampleBy(stratify, fractions=fractions, seed=seed)

使用相同的随机种子运行该逻辑,输出结果将与全局data.sample(fraction=0.5, seed=seed)的结果存在明显差异。

代码小问题

你贴出的示例代码中,打印分层比例的语句println(fractions.mkString("\n")缺少右括号,实际运行时会触发语法错误,需要补充为println(fractions.mkString("\n"))。


内容的提问来源于stack exchange,提问作者29antonioac

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 20:15:08