Spark DataFrame中嵌套ArrayType内Decimal转String的实现求助

我懂你的困扰——你当前的代码只能处理DataFrame顶层的Decimal类型，但嵌套在Array结构里的Struct中的Decimal字段完全没被转换。没关系，我们可以通过递归遍历整个Schema的方式，把所有层级（不管是顶层还是嵌套）的Decimal类型都转成String。

完整解决方案代码 #

这里是Scala实现的递归转换函数，专门处理嵌套结构的场景：

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

def convertAllDecimalsToString(df: DataFrame): DataFrame = {
  // 递归处理单个字段的类型转换
  def processField(field: StructField): Column = {
    field.dataType match {
      // 遇到Decimal类型直接转String
      case _: DecimalType => col(field.name).cast(StringType)
      // 遇到Struct类型，递归处理内部每个字段后重新构建Struct
      case structType: StructType =>
        struct(structType.fields.map(f => processField(f).alias(f.name)): _*)
      // 遇到Array类型，分情况处理元素
      case arrayType: ArrayType =>
        arrayType.elementType match {
          // 数组元素是Struct：遍历每个Struct，递归转换内部Decimal
          case structElem: StructType =>
            transform(
              col(field.name),
              structRow => struct(
                structElem.fields.map(f => 
                  structRow.getField(f.name).cast(if (f.dataType.isInstanceOf[DecimalType]) StringType else f.dataType).alias(f.name)
                ): _*
              )
            )
          // 数组元素本身是Decimal：直接把整个数组转成String数组
          case _: DecimalType =>
            col(field.name).cast(ArrayType(StringType))
          // 其他数组元素类型保持不变
          case _ => col(field.name)
        }
      // 其他非Decimal、非嵌套类型保持原样
      case _ => col(field.name)
    }
  }

  // 对DataFrame的所有顶层字段应用转换逻辑
  df.select(df.schema.fields.map(f => processField(f).alias(f.name)): _*)
}

// 实际使用示例
var df = spark.sql("select * from test_1")
df = convertAllDecimalsToString(df)

代码逻辑说明 #

1. 递归函数processField：

   • 直接识别DecimalType并转换为StringType
   • 遇到StructType时，逐个处理内部字段，重新生成Struct列
   • 遇到ArrayType时：
     • 如果数组里是Struct，用transform函数遍历每个Struct元素，递归处理其中的Decimal字段
     • 如果数组元素本身就是Decimal，直接把数组类型转为ArrayType(StringType)
   • 其他类型（比如String、Timestamp）不做改动

2. 应用到DataFrame：通过select方法批量处理所有顶层字段，生成转换后的新DataFrame。

验证转换效果 #

你可以运行df.printSchema()来查看转换后的Schema，会发现原来嵌套在prov_stts_aray_txt数组里的PROV_STTS_KEY（原DecimalType(22,0)）已经变成了StringType，所有Decimal类型都被正确转换了。

内容的提问来源于stack exchange，提问作者Vinitkumar