如何让Spark Structured Streaming的console输出显示DataFrame列对应数据类型

解决方案 #

Spark 内置的console流式输出 Sink 没有直接配置展示字段类型的参数，可通过以下两种方式实现需求：

• 方法1（推荐，实现成本最低）：提前将列名重命名为「列名:类型」格式
  遍历 DataFrame 的 schema 信息批量重命名列，不需要修改原有输出配置，代码示例如下：

  import org.apache.spark.sql.functions.col
  
  // 遍历schema给列拼接类型后缀作为新列名
  val dfWithTypedColumn = df.select(
    df.schema.map(field => col(field.name).alias(s"${field.name}:${field.dataType.simpleString}")):_*
  )
  
  // 原有输出逻辑不变，使用重命名后的DataFrame输出即可
  dfWithTypedColumn
        .writeStream
        .format("console")
        .option("truncate", "false")
        .start().awaitTermination(20000)
  

  该方法输出的表头格式和你要求的效果完全匹配。
• 方法2：自定义 Console Sink
  如果有更多输出格式定制需求，可以自行实现自定义流式 Sink，在处理每个批次数据时自行组装带类型的表头输出，该方案实现复杂度较高，普通场景无需使用。

内容的提问来源于stack exchange，提问作者Eljah