Spark 3.0.1 Scala中sampleBy分层抽样与sample行为一致问题咨询
问题原因说明
测试结果完全重合的本质原因
你的代码不存在逻辑错误,但测试场景刚好抹平了分层抽样与简单随机抽样的所有差异,导致两类方法的输出完全一致:
- 你构造的分层抽样比例集合
fractions中,所有Language取值对应的抽样比例均为0.5,与调用普通data.sample()时传入的全局抽样比例完全相等。 - Spark 3.0.1版本中,
data.stat.sampleBy的底层实现逻辑为:对每一行数据,先提取该行在分层字段上的取值,从传入的fractions中查到对应分层的抽样比例,再调用与全局sample完全同源的随机判断逻辑(基于传入种子生成哈希值,与比例值比较决定是否保留该行)完成抽样。 - 当所有分层对应的抽样比例与全局抽样比例完全相等时,从Map中取出的比例值与全局传入的比例值没有差异,只要种子一致,每一行的保留判断结果就会完全相同,最终输出的抽样结果自然100%重合,不属于功能异常。
对sampleBy功能的认知偏差
你目前对Spark内置sampleBy的功能存在理解偏差:
- 该方法不会自动按照原始数据的分层占比完成等比例抽样,所有分层的抽样规则100%由你传入的
fractionsMap决定。 - 分层抽样的核心价值是支持不同分层配置差异化的抽样比例,例如对高价值样本层设置90%的抽样率,对普通样本层设置10%的抽样率。当你给所有分层设置完全相同的抽样比例时,
sampleBy的行为会完全退化为普通的全局随机抽样,自然无法体现分层特性。
可验证差异的测试方法
你可以修改fractions中的比例值,制造不同分层的抽样比例差,即可立刻观察到两类抽样的结果区别,示例代码:
// 为每个分层设置差异化的抽样比例 val fractions = Map( "Java" -> 0.1, // Java层仅抽取10%的样本 "Python" -> 0.9, // Python层抽取90%的样本 "Scala" -> 0.5 // Scala层抽取50%的样本 ) val stratified_subsample = data.stat.sampleBy(stratify, fractions=fractions, seed=seed)
使用相同的随机种子运行该逻辑,输出结果将与全局data.sample(fraction=0.5, seed=seed)的结果存在明显差异。
代码小问题
你贴出的示例代码中,打印分层比例的语句println(fractions.mkString("\n")缺少右括号,实际运行时会触发语法错误,需要补充为println(fractions.mkString("\n"))。
内容的提问来源于stack exchange,提问作者29antonioac
相关产品推荐
相关产品推荐

