PySpark中如何实现正则替换时将匹配内容转为大写？

PySpark的regexp_replace确实不支持\U$1\E这类Perl风格的正则大小写转换语法，这是因为它底层基于Java正则表达式库，而Java的正则替换逻辑不支持这类语法。

下面提供两种可行的解决方法：

方法一：使用自定义UDF（兼容所有Spark版本） #

利用Python的re模块支持\U语法的特性，编写自定义UDF实现匹配关键词转大写并高亮的功能：

import re
import pyspark.sql.functions as F
from pyspark.sql.types import StringType

# 定义处理函数：将匹配到的关键词转为大写并包裹*
def uppercase_keywords(s, pattern):
    if s is None:
        return s
    return re.sub(pattern, r'*\U\1*', s)

# 注册UDF
matchSet = "(libero|dolor|quia|inventore)"
uppercase_udf = F.udf(lambda x: uppercase_keywords(x, matchSet), StringType())

# 应用UDF处理数据
sparkDF.withColumn('value', uppercase_udf('value')).show(truncate=50)

执行后输出结果：

+----------------------------------+
|                             value|
+----------------------------------+
|                                  |
|  lorem ipsum *DOLOR* sit amet. et|
|           beatae perspiciatis et |
|     consequatur *LIBERO* ut fuga |
|    quibusdam ut expedita quae qui|
|       aspernatur culpa qui natus |
|    soluta qui neque perferendis. |
|         sit praesentium optio ut |
|*LIBERO* vitae sed *DOLOR* ipsa ut|
|         corporis consequatur eum |
|      obcaecati quisquam nam iure |
|    assumenda? vel excepturi animi|
|     est consequatur molestias ab |
|          necessitatibus nesciunt.|
|       et *INVENTORE* internos ea |
|      reprehenderit voluptatum ut |
|    vero quam. et *QUIA* incidunt |
|    est rerum natus et magnam ipsa|
|     et autem consequatur et velit|
|      placeat aut maxime corrupti |
+----------------------------------+
only showing top 20 rows

方法二：使用Spark内置函数组合（无UDF，Spark 3.1+推荐） #

如果不想依赖UDF，可通过循环结合regexp_replace与upper函数实现，完全基于Spark原生能力，适合分布式场景：

import pyspark.sql.functions as F

# 拆分关键词列表
keywords = ["libero", "dolor", "quia", "inventore"]
processed_df = sparkDF

# 逐个替换关键词为大写并高亮
for keyword in keywords:
    processed_df = processed_df.withColumn(
        'value',
        F.regexp_replace(
            'value',
            fr'\b{keyword}\b',  # \b确保匹配完整单词
            F.concat(F.lit('*'), F.upper(F.lit(keyword)), F.lit('*'))
        )
    )

processed_df.show(truncate=50)

补充说明 #

• Java正则仅支持$n引用捕获组，不支持\U/\L这类大小写转换语法，这是PySpark不支持该特性的核心原因。
• 若需忽略大小写匹配，可在正则中添加(?i)标记，例如matchSet = "(?i)(libero|dolor|quia|inventore)"。

内容的提问来源于stack exchange，提问作者Francis Smart