You need to enable JavaScript to run this app. 编写Scala单元测试校验DataFrame列取值仅为0和1
优惠活动
大模型
产品
解决方案
定价
更多

编写Scala单元测试校验DataFrame列取值仅为0和1

原有测试代码失效的核心问题
  • 列名不匹配:手动构造的校验DF列名为expected_values,从原DataFrame筛选列返回的结果列名为对应的原列名(col1/col2/col3),结构层面就无法相等
  • DataFrame直接判等逻辑无效:Spark DataFrame是惰性执行的分布式数据集对象,使用==比较的是JVM对象引用而非实际执行后的数据内容,哪怕列名对齐也无法完成数据一致性校验
  • 正常场景误报:如果某列实际取值仅包含0或仅包含1,distinct后的结果仅1条记录,和固定2条记录的校验DF天然不等,会把完全合规的列判定为异常
可直接落地的实现方案

方案1:单遍聚合校验(性能最优)

无需构造对比用的DataFrame,仅扫描一次数据集即可完成全列校验,兼容所有正常边界场景:

import org.apache.spark.sql.functions._

// 提前定义需要校验的列列表,减少重复代码
val targetCols = Seq("col1", "col2", "col3")

// 为每一列构造统计表达式:统计取值不在0、1范围内的记录数
val invalidCountExprs = targetCols.map { colName =>
  sum(when(col(colName).isin(0, 1), 0).otherwise(1)).as(s"${colName}_invalid_cnt")
}

// 执行一次聚合拿到所有列的统计结果
val checkMetrics = df.agg(invalidCountExprs.head, invalidCountExprs.tail: _*).first()

// 逐列断言无非法值
targetCols.foreach { colName =>
  val invalidCnt = checkMetrics.getLong(s"${colName}_invalid_cnt")
  assert(invalidCnt == 0, s"列${colName}存在非0/1的非法取值,非法记录数:${invalidCnt}")
}

该方案无需多次遍历数据集,性能远优于逐列distinct对比的写法,也不会对“列仅存0”“列仅存1”的正常场景产生误报。

方案2:本地集合对比(贴近原有写法语义)

如果需要保留“对比distinct取值”的测试逻辑,需要把分布式计算的结果拉取到本地做集合对比,不能直接对比DataFrame对象:

val expectedValueSet = Set(0, 1)
targetCols.foreach { colName =>
  // 提取列的distinct值,拉取到本地转换为集合
  val actualValues = df.select(col(colName).cast("int").as("val"))
    .distinct()
    .as[Int]
    .collect()
    .toSet
  // 断言所有实际取值都在预期范围内
  assert(actualValues.diff(expectedValueSet).isEmpty, 
    s"列${colName}存在非法取值:${actualValues.diff(expectedValueSet)}")
}

内容的提问来源于stack exchange,提问作者jakrm

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 02:54:11