如何结合contains使用regexp_replace？排查替换代码失效问题

代码中的核心问题： #

• 正则特殊字符未转义：patterns里的/是正则元字符，直接使用会导致无法匹配字符串中的实际/符号，替换操作失效。
• 循环未复用更新后的列：每次循环都基于原始column列处理，而非上一次生成的output_column，导致前面的替换被覆盖，仅最后一次替换生效。
• 冗余的when判断：regexp_replace本身就会在匹配时替换、不匹配时返回原字符串，额外嵌套when(...).otherwise(...)属于多余操作，可能引入逻辑问题。
• 函数名拼写不规范：formate_column应为format_column（不影响功能，但不符合命名规范）。

修正后的代码： #

import pyspark.sql.functions as F

patterns = [
    r'15/19',  # 用r前缀声明原始字符串，避免正则转义问题
    r'14/11',
    'HTP',
    'VTP'
]

replacements = [
    'S15/19',
    'S11/14',
    'HTP',
    'VTP'
]

def format_column(output_column, df, patterns, replacements):
    # 先将输出列初始化为原始列（若output_column与原列不同）
    df = df.withColumn(output_column, F.col("column"))
    for p, r in zip(patterns, replacements):
        # 基于更新后的输出列进行替换，移除冗余判断
        df = df.withColumn(output_column, F.regexp_replace(F.col(output_column), p, r))
    return df

额外说明： #

如果需要精确匹配整词（避免部分匹配，比如防止X15/19Y被误替换），可以给正则添加单词边界标识，例如将r'15/19'修改为r'\b15/19\b'，具体边界规则可根据实际业务需求调整。

内容的提问来源于stack exchange，提问作者elokema