PySpark解析嵌套JSON存储时保留标准键值格式问题

问题分析 #

当PySpark解析嵌套JSON时，会将tool这类嵌套对象解析为StructType类型。直接将该字段转为字符串存储时，Spark会默认输出无键的结构化格式（如{null, temp, 2.13:1}），而非标准的键值对JSON格式。

解决步骤 #

1. 读取原始JSON文件，确认tool字段被解析为Struct类型
2. 使用to_json函数将Struct类型字段转换为标准JSON字符串
3. 可选：用regexp_replace替换特殊字符（如把version中的冒号改为分号）

代码实现 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_json, regexp_replace

# 初始化SparkSession
spark = SparkSession.builder.appName("FixNestedJson").getOrCreate()

# 读取原始JSON文件
df = spark.read.json("path.json")

# 将tool字段转为标准JSON字符串
df = df.withColumn("tool", to_json(col("tool")))

# 可选：替换version字段中的冒号为分号（匹配需求格式）
df = df.withColumn(
    "tool",
    regexp_replace(col("tool"), r'"version":"2\.13:1"', r'"version":"2.13;1"')
)

# 验证结果（可选）
df.show(truncate=False)

# 写入数据库示例
# df.write.format("jdbc").option("url", "数据库地址").option("dbtable", "目标表名").save()

关键说明 #

• to_json(col("tool"))会自动遍历tool Struct中的所有字段，生成带完整键值对的标准JSON字符串
• 若tool的字段结构动态变化，该方法依然有效，无需手动指定字段名

内容的提问来源于stack exchange，提问作者ankursingh1000