Spark DataFrame字符串格式JSON转嵌套JSON对象问题求助

我来帮你搞定这个Spark JSON转换的问题！把字符串格式的JSON列转成嵌套的struct类型其实挺简单的，核心就是用Spark SQL里的from_json函数，下面分两种常用场景给你一步步说明：

如果你只是快速验证需求，或者JSON结构比较简单稳定，可以让Spark自动推断JSON的结构。只需要调用from_json函数，第二个参数传入"string"就可以触发自动推断。

Scala 示例 #

import org.apache.spark.sql.functions.from_json

// 假设你的原DataFrame叫df
val convertedDF = df.withColumn("json", from_json($"jsonString", "string"))
convertedDF.printSchema()

Python 示例 #

from pyspark.sql.functions import from_json

# 假设原DataFrame是df
converted_df = df.withColumn("json", from_json("jsonString", "string"))
converted_df.printSchema()

执行后你就能看到json列变成了struct类型，里面包含sample字段，和你想要的目标结构一致。不过这个方法不推荐在生产环境用，因为Spark的自动推断依赖于数据样本，如果样本不全或者有异常值，很可能推断出错误的Schema（比如把本该是int的字段推断成string）。

为了保证Schema的稳定性和准确性，最好提前定义好JSON对应的StructType，再传给from_json函数。

Scala 示例 #

import org.apache.spark.sql.functions.from_json
import org.apache.spark.sql.types.{StructType, StructField, StringType}

// 定义JSON对应的Schema
val jsonSchema = new StructType()
  .add(StructField("sample", StringType, nullable = true))

// 转换列
val convertedDF = df.withColumn("json", from_json($"jsonString", jsonSchema))
convertedDF.printSchema()

Python 示例 #

from pyspark.sql.functions import from_json
from pyspark.sql.types import StructType, StructField, StringType

# 定义JSON对应的Schema
json_schema = StructType([
    StructField("sample", StringType(), nullable=True)
])

# 转换列
converted_df = df.withColumn("json", from_json("jsonString", json_schema))
converted_df.printSchema()

如果你的JSON里有多个字段，只需要在StructType里添加对应的StructField就行，比如如果JSON是{"sample":"value","count":10}，就把Schema改成包含count的IntegerType字段。

如果你的jsonString列里有无效的JSON格式，可以通过from_json的选项来控制处理逻辑：

• mode="PERMISSIVE"（默认）：把无效JSON转成null，同时添加_corrupt_record列记录错误
• mode="DROPMALFORMED"：直接过滤掉包含无效JSON的行
• mode="FAILFAST"：遇到无效JSON直接抛出错误

比如Scala里可以这么加选项：

from_json($"jsonString", jsonSchema, Map("mode" -> "DROPMALFORMED"))

执行完转换后，你就可以像操作普通struct列一样访问json.sample了，比如convertedDF.select($"id", $"json.sample").show()。

内容的提问来源于stack exchange，提问作者SriniD