如何用Spark regexp_replace将非指定城市的字段值替换为Others？

首先你的代码存在两个问题：

• 语法错误：F.regexp_replace的括号闭合位置错误，正确调用格式为F.regexp_replace(列名, 正则表达式, 替换值)
• 逻辑错误：原代码会把匹配到Seoul|Jeju|Busan的内容替换成Others，和你的需求完全相反

根据你的需求，推荐两种实现方式：

方式一：精确匹配（推荐） #

如果key_location存储的是完整地名（比如值就是Seoul、Jeju这类完整字符串），用when+otherwise逻辑更清晰，保留指定地名，其余替换为Others：

import pyspark.sql.functions as F

df = df.withColumn(
    'new_key_location',
    F.when(
        F.col('key_location').isin('Seoul', 'Jeju', 'Busan'),
        F.col('key_location')
    ).otherwise('Others')
)

方式二：模糊匹配（适合字段包含关键词的场景） #

如果key_location是包含地名的长文本（比如Seoul City），需要匹配完全不包含这三个关键词的内容并替换，用正则负向预查实现：

import pyspark.sql.functions as F

df = df.withColumn(
    'new_key_location',
    F.regexp_replace(
        'key_location',
        r'^(?!.*(Seoul|Jeju|Busan)).*$',
        'Others'
    )
)

这个正则会匹配所有不包含Seoul、Jeju、Busan的字符串，将其替换为Others。

内容的提问来源于stack exchange，提问作者Ian_Yu