PySpark中移除Struct列内token字段的转义符\

架构老林

2026-8-2

解决PySpark Struct列内指定字段移除转义符的问题

问题背景

你的DataFrame包含一个transformedJSON Struct列，其中的token字段带有转义符\，需要仅移除该字段内的所有转义符，同时保留Struct列其他字段不变。

解决方案

由于PySpark中Struct列是不可变的，需要通过重新构造整个Struct对象的方式，仅对目标字段token应用正则替换：

导入所需函数：

from pyspark.sql.functions import col, regex_replace, struct

重新构造Struct列，替换token字段的转义符：

df = df.withColumn(
    "transformedJSON",
    struct(
        col("transformedJSON._class").alias("_class"),
        col("transformedJSON._id").alias("_id"),
        col("transformedJSON.email").alias("email"),
        col("transformedJSON.password").alias("password"),
        # 移除token字段中的所有转义符\
        regex_replace(col("transformedJSON.token"), "\\\\", "").alias("token"),
        col("transformedJSON.token_expire_in").alias("token_expire_in"),
        col("transformedJSON.token_generation").alias("token_generation"),
        col("transformedJSON.uid").alias("uid")
    )
)

关键说明

正则表达式解析：\\\\用于匹配字符串中的单个\——Python字符串中需要用\\表示实际的\，而正则表达式中匹配\同样需要\\，因此组合为四个反斜杠。
null值兼容：如果token字段存在null值，regex_replace会自动保留null，不会抛出异常。
Struct列重构逻辑：保留原Struct列的所有字段，仅对token字段做修改，确保其他数据不受影响。