如何使用PySpark的regexp_replace去除字符串首尾的空格与逗号？

可以通过匹配字符串首尾连续的空格或逗号，将其替换为空字符串来实现需求。对应的正则表达式为^[ ,]+|[ ,]+$，具体逻辑拆解：

• ^[ ,]+：匹配字符串开头（^）的一个或多个（+）空格或逗号（[ ,]）
• |[ ,]+$：匹配字符串结尾（$）的一个或多个空格或逗号，|表示逻辑“或”

代码示例 #

假设你的DataFrame包含一列名为raw_str，处理代码如下：

from pyspark.sql import functions as F

df = df.withColumn(
    "cleaned_str",
    F.regexp_replace("raw_str", "^[ ,]+|[ ,]+$", "")
)

效果验证 #

针对两种目标输入：

• 原字符串 ', some value, some value,' → 处理后变为 'some value, some value'
• 原字符串 'some value, some value, ' → 处理后变为 'some value, some value'

内容的提问来源于stack exchange，提问作者pralik