PySpark导出CSV时如何将JSON值保留为完整字符串格式？

问题分析 #

核心问题出在两个环节：

1. 加载CSV时，inferSchema自动推断类型的逻辑会移除JSON字符串的外层双引号，导致后续处理中JSON失去了作为整体字符串的标识；
2. 导出CSV时，JSON内部的逗号被当作列分隔符，单纯设置escape选项无法解决，因为缺少外层引号的包裹。

解决方案 #

1. 加载CSV时确保JSON列保留完整格式 #

不要依赖inferSchema自动推断类型，显式定义Schema将包含JSON的列指定为字符串类型，同时配置CSV读取的引号规则，确保外层双引号被正确处理：

from pyspark.sql.types import StructType, StructField, StringType

# 根据你的实际列结构自定义Schema，示例中假设包含Name和Value列，Value为JSON字符串
custom_schema = StructType([
    StructField("Name", StringType(), nullable=True),
    StructField("Value", StringType(), nullable=True)
])

# 加载CSV时指定Schema并配置引号处理规则
dataframe = spark.read \
    .option("header", "true") \
    .option("quote", "\"") \  # 识别双引号作为字段包裹符
    .option("escape", "\"") \  # 转义字段内部的双引号
    .schema(custom_schema) \
    .csv(csv_files)

2. 导出CSV时正确配置格式选项 #

导出时需确保包含JSON的列被双引号包裹，内部的双引号被转义，避免逗号拆分列：

dataframe.write \
    .option("header", "true") \
    .option("quote", "\"") \  # 用双引号包裹字段
    .option("escape", "\"") \  # 转义字段内部的双引号
    .option("quoteAll", "true") \  # 强制所有字段用引号包裹，确保JSON列必被包裹（可选）
    .mode("overwrite") \
    .csv("newfile.csv")

关键说明 #

• quote：指定用于包裹字段的字符，确保JSON字符串作为一个整体字段被识别；
• escape：指定转义字符，JSON内部的双引号会被转义为""，避免和外层引号冲突；
• quoteAll：若仅部分列是JSON字符串，可省略此选项，PySpark会自动为包含逗号、引号等特殊字符的字段添加引号包裹。

内容的提问来源于stack exchange，提问作者Alejandro Alvarez