Spark Scala中创建含混合类型数组的JSON列的方法

你需要生成的是异构数组（数组元素同时包含字符串和对象）的JSON结构，这是合法的JSON格式。在Spark Scala中可以通过array、lit/col、struct和to_json的组合来实现，具体步骤如下：

1. 导入必要的函数 #

首先导入Spark SQL的内置函数：

import org.apache.spark.sql.functions.{array, lit, struct, to_json, col}

2. 构建目标JSON列 #

场景1：使用固定值生成

如果数组内的内容是固定的字符串和对象，直接用lit生成字面量，struct构建内部对象，再用array组合成数组，最后用to_json序列化：

// 假设已有DataFrame df
val resultDF = df.withColumn(
  "target_json",
  to_json(
    array(
      lit("foo"), // 数组中的字符串元素
      struct(lit("bar").alias("inner_field")) // 数组中的对象元素
    ).alias("field")
  )
)

场景2：从现有列取值生成

如果需要从DataFrame的现有列中获取值，把lit替换成对应的col即可：

// 假设现有列str_col存储"foo"，inner_col存储"bar"
val resultDF = df.withColumn(
  "target_json",
  to_json(
    array(
      col("str_col"),
      struct(col("inner_col").alias("inner_field"))
    ).alias("field")
  )
)

3. 验证输出 #

执行以下代码查看生成的JSON结果：

resultDF.select("target_json").show(false)

输出会符合你需要的格式：

+----------------------------------------------------+
|target_json                                          |
+----------------------------------------------------+
|{"field":["foo",{"inner_field":"bar"}]}             |
+----------------------------------------------------+

Spark的to_json函数可以自动处理这种混合类型的数组，确保序列化后的JSON结构完全符合要求。

内容的提问来源于stack exchange，提问作者Silva_PT_SCP