如何使用PySpark删除字符串末尾存在的反斜杠字符

PySpark 提供了内置函数直接实现该需求，不需要额外适配逻辑，以下是不同场景的实现方式：

场景1：DataFrame 列批量处理（性能最优） #

直接用 PySpark 内置的 rtrim 函数，功能和 Python 原生的 rstrip 完全一致，不需要写自定义 UDF，执行效率更高：

from pyspark.sql import SparkSession
from pyspark.sql.functions import rtrim

# 初始化SparkSession
spark = SparkSession.builder.appName("trim_backslash").getOrCreate()

# 构造测试数据
test_data = [("test\\",), ("normal_str",), ("multi_slash\\\\",), (None,)]
df = spark.createDataFrame(test_data, ["content"])

# 移除字符串末尾所有连续反斜杠
df_result = df.withColumn("trimmed_content", rtrim("content", "\\"))

# 查看处理结果
df_result.show(truncate=False)

运行输出如下：

+------------+---------------+
|content     |trimmed_content|
+------------+---------------+
|test\       |test           |
|normal_str  |normal_str     |
|multi_slash\\|multi_slash    |
|null        |null           |
+------------+---------------+

如果你只需要删除最后一个反斜杠，而不是末尾所有连续的反斜杠，可以用 regexp_replace 函数实现：

from pyspark.sql.functions import regexp_replace

# 正则匹配末尾单个反斜杠并删除
df_result = df.withColumn("trimmed_content", regexp_replace("content", r"\\$", ""))

场景2：自定义UDF中使用 #

如果需要在自定义逻辑中处理，直接用你原来的Python原生写法即可，UDF支持原生字符串方法调用：

from pyspark.sql.functions import udf

@udf
def trim_last_backslash(s):
    if s is None:
        return None
    return s.rstrip('\\')

df_result = df.withColumn("trimmed_content", trim_last_backslash("content"))

内容的提问来源于stack exchange，提问作者Simon Breton