编写Scala单元测试校验DataFrame列取值仅为0和1
原有测试代码失效的核心问题
- 列名不匹配:手动构造的校验DF列名为
expected_values,从原DataFrame筛选列返回的结果列名为对应的原列名(col1/col2/col3),结构层面就无法相等 - DataFrame直接判等逻辑无效:Spark DataFrame是惰性执行的分布式数据集对象,使用
==比较的是JVM对象引用而非实际执行后的数据内容,哪怕列名对齐也无法完成数据一致性校验 - 正常场景误报:如果某列实际取值仅包含0或仅包含1,distinct后的结果仅1条记录,和固定2条记录的校验DF天然不等,会把完全合规的列判定为异常
可直接落地的实现方案
方案1:单遍聚合校验(性能最优)
无需构造对比用的DataFrame,仅扫描一次数据集即可完成全列校验,兼容所有正常边界场景:
import org.apache.spark.sql.functions._ // 提前定义需要校验的列列表,减少重复代码 val targetCols = Seq("col1", "col2", "col3") // 为每一列构造统计表达式:统计取值不在0、1范围内的记录数 val invalidCountExprs = targetCols.map { colName => sum(when(col(colName).isin(0, 1), 0).otherwise(1)).as(s"${colName}_invalid_cnt") } // 执行一次聚合拿到所有列的统计结果 val checkMetrics = df.agg(invalidCountExprs.head, invalidCountExprs.tail: _*).first() // 逐列断言无非法值 targetCols.foreach { colName => val invalidCnt = checkMetrics.getLong(s"${colName}_invalid_cnt") assert(invalidCnt == 0, s"列${colName}存在非0/1的非法取值,非法记录数:${invalidCnt}") }
该方案无需多次遍历数据集,性能远优于逐列distinct对比的写法,也不会对“列仅存0”“列仅存1”的正常场景产生误报。
方案2:本地集合对比(贴近原有写法语义)
如果需要保留“对比distinct取值”的测试逻辑,需要把分布式计算的结果拉取到本地做集合对比,不能直接对比DataFrame对象:
val expectedValueSet = Set(0, 1) targetCols.foreach { colName => // 提取列的distinct值,拉取到本地转换为集合 val actualValues = df.select(col(colName).cast("int").as("val")) .distinct() .as[Int] .collect() .toSet // 断言所有实际取值都在预期范围内 assert(actualValues.diff(expectedValueSet).isEmpty, s"列${colName}存在非法取值:${actualValues.diff(expectedValueSet)}") }
内容的提问来源于stack exchange,提问作者jakrm
相关产品推荐
相关产品推荐

