如何从Spark DataFrame获取空结果集？实现类RDBMS无数据查询

嗨，针对你的需求——获取空结果集来避免左连接的数据倾斜，我整理了几种Spark里的实现方式，同时结合你的场景说明怎么用：

一、直接生成与原DataFrame结构一致的空集 #

1. 最直观的过滤写法 #

你提到的df.where("1" === "2")思路是对的，在Scala里更规范的写法可以是：

import org.apache.spark.sql.functions.lit

val emptyDf = df.where(lit(1) === lit(2))
// 或者更简洁的：
val emptyDf = df.filter(false)

这种方式会生成一个和原df结构完全相同，但没有任何行数据的空DataFrame，完美适配你需要和其他DataFrame做连接的场景。

2. 通过Schema创建空集 #

如果不想依赖原DataFrame的实例，也可以直接指定Schema生成空集：

import org.apache.spark.sql.Row
import org.apache.spark.sql.types.StructType

// 假设你已经有目标Schema（比如df2的schema）
val targetSchema: StructType = df2.schema
val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], targetSchema)

二、结合你的数据倾斜场景的实操示例 #

你的场景是df1有3亿条记录，其中2亿条键为Null，和df2左连接时想拆分处理避免倾斜。用空DataFrame的实现步骤如下：

1. 拆分df1为含空键和非空键的两部分

val df1NullKeys = df1.filter($"key".isNull)
val df1NonNullKeys = df1.filter($"key".isNotNull)

2. 生成空的df2数据集

val emptyDf2 = df2.filter(false)

3. 分别连接后合并结果

// 空键部分和空df2左连接，保留df1的所有数据，df2的列全为Null
val joinedNullPart = df1NullKeys.join(emptyDf2, Seq("key"), "left")
// 非空键部分正常和df2左连接
val joinedNonNullPart = df1NonNullKeys.join(df2, Seq("key"), "left")
// 合并两部分结果
val finalResult = joinedNullPart.union(joinedNonNullPart)

额外小提示 #

其实你提到的直接给含空键的df1添加df2的列也是非常高效的方案，比如：

// 遍历df2的所有列，添加为Null值列
val df1NullKeysWithDf2Cols = df2.columns.foldLeft(df1NullKeys) { (acc, colName) =>
  acc.withColumn(colName, lit(null))
}

这种方式不需要执行连接操作，性能可能更好，适合df2列数不多的情况；如果df2列很多，用空DataFrame连接的方式会更简洁。

内容的提问来源于stack exchange，提问作者Sc0rpion