PySpark输出JSON时无法去除反斜杠的技术咨询

核心原因 #

你的steps列存储的是JSON格式的字符串（例如"[{\"action\":\"click\"}]"），但PySpark将其识别为普通字符串类型。写入JSON文件时，为保证字符串语法合法性，会自动对其中的双引号添加反斜杠转义，导致输出结果不符合预期。

有效解决方法 #

1. 将字符串列解析为JSON结构（推荐） #

把steps列从字符串类型转换为PySpark的ArrayType或StructType，写入时会被当作原生JSON结构处理，不会额外转义。

示例代码：

from pyspark.sql.functions import from_json
from pyspark.sql.types import ArrayType, StructType, StringType

# 根据实际数据定义steps列的JSON结构
steps_schema = ArrayType(
    StructType()
    .add("action", StringType())
    .add("target", StringType())
)

# 解析字符串为JSON结构
df = df.withColumn("steps", from_json(df["steps"], steps_schema))

# 写入JSON文件
df.write.mode("overwrite").json("/path/to/output")

2. 直接写入原始字符串（仅适用于单列场景） #

若无需解析JSON结构，仅想原样输出steps列内容，可使用text格式写入，但这种方式会丢失其他列的数据：

df.select("steps").write.mode("overwrite").text("/path/to/output")

3. 自定义输出逻辑 #

通过map函数将整行数据转换为合法JSON字符串，再写入文件：

import json
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 自定义UDF生成无转义的JSON行
def row_to_json(row):
    row_dict = row.asDict()
    # 手动解析steps字符串为JSON对象
    row_dict["steps"] = json.loads(row_dict["steps"])
    return json.dumps(row_dict)

row_to_json_udf = udf(row_to_json, StringType())

# 生成JSON字符串列并写入
df.select(row_to_json_udf(df)).write.mode("overwrite").text("/path/to/output")

注意事项 #

• 方法1是最规范的处理方式，后续对steps列的查询、分析也更便捷；
• 若steps列的JSON结构不固定，可使用from_json(df["steps"], MapType(StringType(), StringType()))或from_json(df["steps"], ArrayType(MapType(StringType(), StringType())))适配动态结构；
• escape参数用于控制输出时特殊字符的转义规则，不适用于字符串类型的JSON内容，无需尝试。

内容的提问来源于stack exchange，提问作者RushHour