Spark写入含Struct Schema的DataFrame为CSV时遇类型错误求解决

必须进行列转换，CSV作为扁平文本格式，不支持直接存储嵌套的Struct类型数据，这就是你遇到报错的原因。

问题根源 #

你的DataFrame根节点仅包含一个DF_RECORD Struct字段，而Spark CSV数据源只能处理字符串、数值等基础扁平类型，无法解析嵌套结构，因此抛出AnalysisException。

解决步骤 #

需要将Struct字段展开为顶级扁平列，以下是两种常用实现方式：

1. 手动指定提取子字段 #

适用于需要筛选部分子字段的场景：

// 提取Struct内的ID和BALANCE_AMT作为顶级列
val flattenedDF = myDF.select(
  $"DF_RECORD.ID",
  $"DF_RECORD.BALANCE_AMT"
)

2. 批量展开所有子字段 #

如果Struct内字段较多，使用通配符*一次性展开所有子字段：

// 展开DF_RECORD下的所有子字段为顶级列
val flattenedDF = myDF.selectExpr("DF_RECORD.*")

验证并执行写入 #

先检查扁平后的Schema确认结构正确：

flattenedDF.printSchema
// 预期输出：
// root
//  |-- ID: string (nullable = true)
//  |-- BALANCE_AMT: decimal(15,4) (nullable = true)

再执行CSV写入操作：

flattenedDF.write.format("csv").mode("overwrite").option("header", "true").save("/path")

内容的提问来源于stack exchange，提问作者Amber