如何对Spark DDL字符串进行美观格式化输出？

以下是几种实用的方案，帮你把紧凑的DDL Schema字符串转换成结构化、易读的格式：

方法1：手动编写轻量格式化函数 #

针对DDL字符串的嵌套结构（比如STRUCT<...>层级嵌套），编写简单的解析逻辑，处理括号、逗号等符号，自动添加缩进和换行。

Python示例： #

def format_ddl(ddl_str, indent="  "):
    formatted = []
    current_indent = 0
    i = 0
    n = len(ddl_str)
    
    while i < n:
        char = ddl_str[i]
        if char == '<':
            formatted.append(char)
            current_indent += 1
            formatted.append('\n' + indent * current_indent)
            i += 1
        elif char == '>':
            current_indent -= 1
            formatted.append('\n' + indent * current_indent)
            formatted.append(char)
            i += 1
            # 处理>后的逗号，保持格式统一
            if i < n and ddl_str[i] == ',':
                formatted.append(',')
                formatted.append('\n' + indent * current_indent)
                i += 1
        elif char == ',':
            formatted.append(',')
            formatted.append('\n' + indent * current_indent)
            i += 1
            # 跳过逗号后的空格
            while i < n and ddl_str[i] == ' ':
                i += 1
        else:
            formatted.append(char)
            i += 1
    return ''.join(formatted).strip()

使用效果：

raw_ddl = "STRUCT<id:INT,name:STRING,details:STRUCT<age:INT,address:STRING,contacts:ARRAY<STRING>>>"
print(format_ddl(raw_ddl))

输出：

STRUCT<
  id:INT,
  name:STRING,
  details:STRUCT<
    age:INT,
    address:STRING,
    contacts:ARRAY<STRING>
  >
>

方法2：借助Spark原生Schema格式化能力 #

如果不需要严格的DDL字符串格式，可以直接利用Spark StructType 的内置格式化方法；若必须保留DDL格式，也可以先转成Schema对象再处理。

Python示例： #

from pyspark.sql.types import StructType

# 假设你已获取DataFrame的Schema对象
schema = df.schema

# 方式1：直接输出结构化的JSON格式，可读性极强
print(schema.prettyJson())

# 方式2：转回DDL后再用自定义函数格式化
raw_ddl = schema.toDDL()
print(format_ddl(raw_ddl))

Scala示例： #

val schema = df.schema
// 原生输出格式化后的Schema JSON
println(schema.prettyJson)

// 格式化toDDL输出的字符串
def formatDdl(ddl: String, indent: String = "  "): String = {
  var currentIndent = 0
  val sb = new StringBuilder
  var i = 0
  val len = ddl.length
  while (i < len) {
    ddl(i) match {
      case '<' =>
        sb.append('<')
        currentIndent += 1
        sb.append("\n").append(indent * currentIndent)
        i += 1
      case '>' =>
        currentIndent -= 1
        sb.append("\n").append(indent * currentIndent).append('>')
        i += 1
        if (i < len && ddl(i) == ',') {
          sb.append(",").append("\n").append(indent * currentIndent)
          i += 1
        }
      case ',' =>
        sb.append(",").append("\n").append(indent * currentIndent)
        i += 1
        while (i < len && ddl(i) == ' ') i += 1
      case c =>
        sb.append(c)
        i += 1
    }
  }
  sb.toString().trim
}

println(formatDdl(schema.toDDL))

方法3：使用成熟SQL格式化库 #

如果你的DDL包含完整建表语句（而非单独Schema片段），可以用专业SQL格式化工具处理，比如Python的sqlparse：

1. 安装依赖：pip install sqlparse
2. 使用示例：

import sqlparse

raw_ddl = "CREATE TABLE user (id INT, name STRING, profile STRUCT<age INT, address STRING>)"
formatted_ddl = sqlparse.format(raw_ddl, reindent=True, keyword_case='upper')
print(formatted_ddl)

输出：

CREATE TABLE user (
    id INT,
    name STRING,
    profile STRUCT<age INT, address STRING>
)

内容的提问来源于stack exchange，提问作者Tom