AWS Glue Scala中getField()获取对象数组返回None的问题

核心原因 #

在AWS Glue v4环境中，DynamicRecord对数组类型字段的存储并非直接映射为Scala原生List，而是封装为**Spark的WrappedArray**或Glue自定义的数组容器类型。你直接用asInstanceOf[List[XXX]]强制转换时，因类型不匹配导致转换失败，触发getOrElse(Seq())返回空序列。

注意：schema.containsField("kids")返回true仅说明字段在Schema定义中存在，但getField("kids")返回的Any实例类型和你预期的Scala集合类型并不兼容。

正确提取方式 #

方式1：匹配Spark WrappedArray类型转换

通过模式匹配识别Spark的数组包装类型，再转换为Scala List：

import org.apache.spark.sql.catalyst.util.WrappedArray

val kids = record.getField("kids") match {
  case Some(arr: WrappedArray[_]) => 
    arr.map(_.asInstanceOf[DynamicRecord]).toList
  case _ => Nil
}

方式2：使用Glue的getAs安全转换

DynamicRecord提供了getAs[T]方法，可直接指定目标类型完成安全转换：

val kids = record.getAs[Seq[DynamicRecord]]("kids").getOrElse(Nil)

方式3：转为DataFrame处理（已知方案）

若需要更灵活的数组操作，将DynamicFrame转为Spark DataFrame后，数组会映射为Seq[Row]，处理逻辑更直观：

val df = exampleFrame.toDF()
val mappedDf = df.withColumn("kids", ...) // 直接操作数组字段

额外排查点 #

• 检查原始数据中kids字段是否存在嵌套空值：即使Schema存在，部分记录的kids可能为null，此时getField会返回None，需结合数据校验确认。
• 自定义Case Class转换需严格匹配：若Case Class的字段名、类型与kids数组内的DynamicRecord不匹配，转换也会失败。

内容的提问来源于stack exchange，提问作者Richard Chester