Spark Scala能否从Hive表转换的DataFrame获取各列最大长度？

当然可以实现！针对你要计算DataFrame各列最大字符串长度并转换成指定格式的需求，我们可以用Spark Scala的内置函数轻松搞定，下面给你详细的实现步骤和代码：

核心思路 #

1. 对DataFrame的每一列，用length()函数计算每个值的字符串长度，再用max()函数取该列的最大长度
2. 将计算后的宽表（每列对应一个最大长度值）转换为长表，把列名作为COLUMN_NAME，对应的最大长度作为MAX_LENGTH

具体实现代码 #

1. 导入所需函数 #

首先需要导入Spark的内置函数：

import org.apache.spark.sql.functions.{col, length, max, coalesce, lit}

2. 计算各列最大长度（宽表形式） #

先针对你的testDF计算每列的最大字符串长度：

// 手动指定列的写法（适合列数少的情况）
val maxLengthDF = testDF.agg(
  max(length(col("COL1"))).alias("COL1"),
  max(length(col("COL2"))).alias("COL2"),
  max(length(col("COL3"))).alias("COL3")
)

如果你的表列数很多，不想手动逐个写列名，可以用动态生成的方式：

// 动态获取所有列并生成聚合表达式
val columns = testDF.columns
val aggExprs = columns.map(c => max(length(col(c))).alias(c))
val maxLengthDF = testDF.agg(aggExprs.head, aggExprs.tail: _*)

3. 转换为目标长表格式 #

接下来用stack函数（Spark 3.0+支持）把宽表转成你需要的长表结构：

// 手动指定列的stack表达式
val resultDF = maxLengthDF.selectExpr(
  "stack(3, 'COL1', COL1, 'COL2', COL2, 'COL3', COL3) as (COLUMN_NAME, MAX_LENGTH)"
)

// 动态生成stack表达式（适配任意列数）
val stackExpr = s"stack(${columns.length}, ${columns.map(c => s"'$c', $c").mkString(", ")}) as (COLUMN_NAME, MAX_LENGTH)"
val resultDF = maxLengthDF.selectExpr(stackExpr)

4. 处理空值（可选） #

如果你的列中存在null值，length()函数会返回null，max()会自动忽略这些null。如果想把null的长度视为0，可以修改聚合逻辑：

val aggExprsWithNull = columns.map(c => max(coalesce(length(col(c)), lit(0))).alias(c))
val maxLengthDF = testDF.agg(aggExprsWithNull.head, aggExprsWithNull.tail: _*)

5. 查看结果 #

最后执行show()就能得到你想要的格式：

resultDF.show()

输出结果：

+-----------+----------+
|COLUMN_NAME|MAX_LENGTH|
+-----------+----------+
|       COL1|         3|
|       COL2|         8|
|       COL3|         6|
+-----------+----------+

内容的提问来源于stack exchange，提问作者A8H1