如何获取Spark DataFrame声明时显示的简洁Schema信息？

嘿，这个问题我之前也碰到过！其实要拿到REPL里显示的那种简洁Schema字符串很简单，核心是利用Spark内置的simpleString方法，这里有两种靠谱的方式：

方法一：手动拼接（最稳妥） #

我们可以遍历DataFrame的每个字段，把字段名和对应的简洁类型字符串拼起来，最后包装成你要的格式：

import org.apache.spark.sql.DataFrame

def getConciseSchema(df: DataFrame): String = {
  // 把每个字段转成"字段名: 简洁类型"的格式
  val fieldLines = df.schema.fields.map(field => 
    s"${field.name}: ${field.dataType.simpleString}"
  )
  // 用方括号把所有字段包起来，逗号分隔
  s"[${fieldLines.mkString(", ")}]"
}

// 调用示例
val mySchemaStr = getConciseSchema(df)
// 输出就是你想要的：[an_array: array<int>, a_map: map<string,string>, a_struct: struct<x:int>, an_array_of_structs: array<struct<foo:string,bar:int,vals:array<double>>>]

这个方法的好处是完全可控，不管Schema多复杂，都能准确生成你要的格式，而且不用担心Spark版本变化带来的兼容问题。

方法二：直接处理Schema的simpleString输出 #

Spark的StructType（也就是df.schema的类型）本身有个simpleString方法，它返回的是struct<字段1:类型1,字段2:类型2,...>这样的字符串，我们只需要把外层的struct<和>去掉，再换成方括号就行：

val mySchemaStr = "[" + df.schema.simpleString.replaceFirst("^struct<", "").replace(">$", "") + "]"

这个方法更简洁，适合快速实现，唯一要注意的是如果你的DataFrame没有任何字段（空Schema），可能需要额外加个判断，但大部分场景下用起来没问题。

为啥会有两种不同的Schema输出？ #

你看到的两种差异，本质是因为：

• REPL里显示的简洁格式，是它专门为了展示友好，调用了每个数据类型的simpleString方法拼接出来的；
• 而df.schema返回的是StructType对象，它的toString方法是给开发者用来查看结构化细节的，方便你在代码里操作Schema的各个部分（比如新增字段、修改类型之类的）。

内容的提问来源于stack exchange，提问作者Vishal