Spark Dataset写入CSV报错：不支持array<string>数据类型

兄弟，这个问题太常见了——CSV本身是纯扁平化的文本格式，压根不支持array<string>这种嵌套数据类型，Spark直接写入肯定会抛出你看到的UnsupportedOperationException异常。给你几个靠谱的解决思路，按需挑选：

1. 将数组拼接为单个字符串（最常用） #

把数组里的元素用指定分隔符（比如分号、竖线）拼接成一个字符串，这样CSV就能正常识别了。后续需要还原数组的话，读取时再拆分即可。

Scala 示例： #

import org.apache.spark.sql.functions.{concat_ws, col, coalesce, lit, array}

// 把数组用分号拼接，同时处理null的情况（将null数组转为空字符串）
val formattedDF = df
  .withColumn("orgname", concat_ws(";", coalesce(col("orgname"), array(lit("")))))

formattedDF.write.csv("/your/output/path")

Python 示例： #

from pyspark.sql.functions import concat_ws, coalesce, lit, array

# 同样处理null数组，拼接成字符串
formatted_df = df.withColumn(
    "orgname", 
    concat_ws(";", coalesce(df["orgname"], array(lit(""))))
)

formatted_df.write.csv("/your/output/path")

2. 将数组展开为多行（适合需要拆分数据的场景） #

如果希望数组里的每个元素单独占一行，可以用explode函数展开数组。如果需要保留原表中的null行，记得用explode_outer替代explode。

Scala 示例： #

import org.apache.spark.sql.functions.explode_outer

val explodedDF = df.withColumn("orgname", explode_outer(col("orgname")))
explodedDF.write.csv("/your/output/path")

Python 示例： #

from pyspark.sql.functions import explode_outer

exploded_df = df.withColumn("orgname", explode_outer(df["orgname"]))
exploded_df.write.csv("/your/output/path")

3. 改用支持嵌套类型的输出格式 #

如果不需要用CSV，完全可以选择Parquet、JSON这类天生支持复杂数据类型的格式，既能保留数组结构，读写性能也更好：

Scala 示例： #

// 写入Parquet
df.write.parquet("/your/output/path/parquet")

// 或者写入JSON
df.write.json("/your/output/path/json")

Python 示例： #

# 写入Parquet
df.write.parquet("/your/output/path/parquet")

# 或者写入JSON
df.write.json("/your/output/path/json")

内容的提问来源于stack exchange，提问作者ROOT