Spark中df.schema返回不完整StructType致类型转换报错问题

你的问题确实是因为simpleString()方法在Schema结构复杂、字段过多时会自动截断，生成带... n more fields的不合法类型字符串，导致Spark SQL解析失败。要解决这个问题，不能依赖字符串替换，得递归遍历Schema结构，手动构建完整的转换后类型。

修正后的Scala代码 #

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

// 递归转换Schema：把所有IntegerType替换为DoubleType
def convertIntToDoubleSchema(dataType: DataType): DataType = dataType match {
  case IntegerType => DoubleType
  case struct: StructType => 
    StructType(struct.fields.map(f => 
      StructField(f.name, convertIntToDoubleSchema(f.dataType), f.nullable)
    ))
  case array: ArrayType => 
    ArrayType(convertIntToDoubleSchema(array.elementType), array.containsNull)
  case other => other // 其他类型保持不变
}

// 生成用于select的Column序列，递归处理嵌套结构
def castIntToDoubleColumns(schema: StructType): Seq[Column] = {
  schema.fields.map { f =>
    val convertedType = convertIntToDoubleSchema(f.dataType)
    col(f.name).cast(convertedType)
  }
}

// 应用转换
val convertedDf = df.select(castIntToDoubleColumns(df.schema): _*)

代码说明 #

1. convertIntToDoubleSchema函数：递归遍历整个Schema结构，遇到IntegerType就替换成DoubleType；遇到嵌套StructType就逐个处理其字段；遇到ArrayType就处理其元素类型，完全保留原Schema的完整性，不会出现截断。
2. castIntToDoubleColumns函数：利用转换后的Schema，为每个字段生成对应的cast操作，确保所有嵌套层级的Integer类型都被转换。
3. 整个过程直接操作Spark的DataType对象，完全避开了simpleString()的字符串截断问题，适用于任何复杂程度的嵌套Schema。

内容的提问来源于stack exchange，提问作者Ali AzG