Spark读取JSON时如何将指定属性值统一转为数组？

这个场景我太熟悉了！之前处理半结构化JSON数据（尤其是每行一个JSON的JSON Lines格式）时，经常碰到这种字段时而单个值、时而数组的情况，直接用explode()确实会炸锅。别担心，下面给你几个实用的办法，把目标属性统一转成数组类型，之后就能安心用explode()了：

方法1：用内置函数判断类型并转换（推荐） #

Spark提供了is_array()函数可以直接判断字段类型，配合when()和array()就能轻松把单个值包装成数组，数组类型则保持原样。

Scala 示例：

import org.apache.spark.sql.functions.{when, is_array, array, col}

// 假设你的DataFrame名为df，目标字段是"A"
val dfWithArray = df.withColumn(
  "A",
  when(is_array(col("A")), col("A"))
    .otherwise(array(col("A")))
)

PySpark 示例：

from pyspark.sql.functions import when, is_array, array

df_with_array = df.withColumn(
  "A",
  when(is_array(df["A"]), df["A"])
    .otherwise(array(df["A"]))
)

方法2：处理Null值的严谨版 #

如果目标字段可能存在null，可以额外加一层判断，把null转成空数组，避免后续操作报错：

PySpark 示例：

df_with_array = df.withColumn(
  "A",
  when(df["A"].isNull(), array())
    .when(is_array(df["A"]), df["A"])
    .otherwise(array(df["A"]))
)

验证&后续使用 #

处理完成后，你可以用printSchema()确认字段类型已经变成array：

df_with_array.printSchema()
# 输出里"A"的类型应该是 array<string>（假设原类型是字符串）

之后就可以安全使用explode()展开数据了：

df_exploded = df_with_array.selectExpr("explode(A) as A_value")

这样不管原始数据里"A"是单个值还是数组，都能被正确展开成多行。

内容的提问来源于stack exchange，提问作者Daebarkee