如何将Spark SQL查询的单行单列整数结果转为Scala Integer类型

要把Spark SQL返回的单行单列DataFrame转为Scala Integer变量，有几种直接且可靠的方式，核心是从DataFrame中提取单行数据，再取出对应列的数值，同时注意处理max()可能返回的null值（比如表为空时）：

方法一：使用first()/head()提取单行，再通过列名取值 #

这是最直观的方式，优先通过列名获取值，避免索引出错：

val max_val_frame = spark.sql("select max(val) as max_val from temp_table_1")

// 提取第一行数据
val maxRow = max_val_frame.first()

// 处理可能的null值，两种可选方式：
// 方式1：允许null，返回Option[Int]，后续可按需处理
val max_val: Option[Int] = maxRow.getAs[Option[Int]]("max_val")

// 方式2：给默认值（比如表为空时设为0），直接返回Int
val max_val: Int = maxRow.getAs[Option[Int]]("max_val").getOrElse(0)

// 后续循环使用
var init_val = 1
while (init_val <= max_val) {
    print(init_val)
    init_val += 1
}

方法二：使用collect()拉取数据（仅适用于单行场景） #

collect()会把DataFrame所有数据拉到Driver节点内存，因为这里是单行结果，所以可以安全使用：

val max_val_frame = spark.sql("select max(val) as max_val from temp_table_1")

// 先判断DataFrame是否为空，避免数组越界异常
val max_val: Int = if (max_val_frame.count() > 0) {
    max_val_frame.collect()(0).getInt(0) // 通过列索引取值，0对应第一列
} else {
    0 // 表为空时的默认值
}

// 后续循环逻辑同上

注意事项 #

• 必须处理max(val)返回null的情况：当temp_table_1没有数据时，max(val)会返回null，直接强转Int会触发NullPointerException，建议用Option包装或设置默认值。
• 不要用toString()再转Int的方式：DataFrame的toString会输出结构化信息（比如[max_val: 10]），解析起来容易出错，远不如直接提取列值可靠。

内容的提问来源于stack exchange，提问作者Hitachi7