Scala Spark 空DataFrame合并报错，如何优雅实现空值检查？

当尝试对两个DataFrame执行union操作时，若其中一个或两个DataFrame为空（无列结构），会触发如下错误：

Union can only be performed on tables with the same number of columns, but the first table has 0 columns and the second table has 16 columns

当前使用的链式if判断逻辑冗余且不够简洁：

if (df1.isEmpty) {
    res = df2
} else if (df2.isEmpty) {
    res = df1
} else if (df1.isEmpty || df2.isEmpty) {
    // end
} else {
    res = df1.union(df2)
}

优化方案 #

1. 简化条件表达式（Scala）

利用Scala的表达式特性，直接用嵌套逻辑精简代码，移除冗余判断分支：

val res = if (df1.isEmpty) df2 else if (df2.isEmpty) df1 else df1.union(df2)

2. 模式匹配（Scala）

如果需要更清晰的分支可读性，可使用模式匹配：

val res = (df1.isEmpty, df2.isEmpty) match {
    case (true, _) => df2
    case (_, true) => df1
    case _ => df1.union(df2)
}

3. 进阶：处理列结构对齐（含无数据但有列的空DataFrame）

如果遇到有列结构但无数据的空DataFrame，可直接安全执行union；但如果是完全无列的空DataFrame，可提前统一结构，同时解决列顺序不一致导致的数据错位问题：

def safeUnion(df1: DataFrame, df2: DataFrame): DataFrame = {
    if (df1.isEmpty && df2.isEmpty) spark.emptyDataFrame
    else if (df1.isEmpty) df2
    else if (df2.isEmpty) df1
    else df1.union(df2.select(df1.columns.map(col): _*))
}

内容的提问来源于stack exchange，提问作者confuseddev