嘿，这个问题我太熟悉了！CSV是一种扁平的文本格式，天生没法直接存储Spark里的数组（WrappedArray本质就是Spark的Array类型），所以才会抛出java.lang.UnsupportedOperationException: CSV data source does not support array data type这个错误。别慌，咱们有几种实用的解决办法：

方案1：手动将数组列转为字符串 #

最直接的方式就是把数组用分隔符拼接成普通字符串，Spark提供了concat_ws或者Spark 2.4+支持的array_join函数来做这件事。比如你的视图里有数组列，可以这么处理：

import org.apache.spark.sql.functions._

spark.table("my_view")
  // 用逗号把数组元素拼接成字符串，你也可以换成|、;这类不会和元素内容冲突的分隔符
  .withColumn("your_array_column", concat_ws(",", col("your_array_column")))
  .repartition(1)
  .write.mode("overwrite")
  .option("header", "true")
  .csv("hdfs://path/to/my_output")

这样处理后，数组列就变成了CSV支持的字符串类型，后续如果需要还原数组，还可以用split函数再拆回去。

方案2：批量转换所有数组列 #

如果你的视图里有很多数组列，手动一个个处理太麻烦，可以通过遍历Schema自动找出所有数组列，批量转换：

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

val originalDf = spark.table("my_view")
// 从Schema中筛选出所有数组类型的列名
val arrayColumnNames = originalDf.schema.fields
  .filter(field => field.dataType.isInstanceOf[ArrayType])
  .map(_.name)

// 批量将数组列转为字符串
val transformedDf = arrayColumnNames.foldLeft(originalDf) { (df, colName) =>
  df.withColumn(colName, concat_ws(";", col(colName))) // 这里用分号做分隔符，根据你的数据调整
}

// 导出CSV
transformedDf.repartition(1)
  .write.mode("overwrite")
  .option("header", "true")
  .csv("hdfs://path/to/my_output")

这个方法能帮你省不少重复劳动，尤其适合复杂视图的场景。

小提醒 #

选择分隔符的时候要注意避开数组元素里已经存在的字符，比如如果你的数组元素本身包含逗号，就别用逗号做分隔符，换成|或者;这类特殊符号，避免后续读取CSV时出现解析错误。

内容的提问来源于stack exchange，提问作者demur