PySpark SQL中不区分大小写替换数字单词的问题求助

需求是在PySpark SQL中将所有数字单词（如one、ONE、One等）不区分大小写替换为anonymous number，同时保留其他单词的原有大小写，不能整体转换大小写。

当前使用的SQL语句无法生效：

SQL= """SELECT text
,
regex_replace(
text,
'(?i)\b(zero|one|two|three|four|five|six|seven|eight|nine|ten)\b','anonymous number') as phrase
from
test_table;
"""

spark.sql(SQL)

输入示例：

one Way is ALLowed and TWO way is not allowed. TRAffic has thREE colour Signals.

期望输出：

anonymous number is ALLowed and anonymous number way is not allowed. TRAffic has anonymous number colour Signals.

问题原因 #

原有语句存在两个核心问题：

1. 字符串转义错误：Python三重引号字符串中，\b会被解析为退格符，而非正则表达式中的单词边界，导致边界匹配失效。
2. 正则修饰符与边界的兼容性：PySpark底层依赖Java正则引擎，(?i)修饰符结合原生\b时，可能因大小写敏感的边界判断出现匹配遗漏。

解决方案 #

修正后的SQL语句如下，解决转义和匹配逻辑问题：

SQL= """SELECT text
,
regex_replace(
text,
'\\b(?i)(zero|one|two|three|four|five|six|seven|eight|nine|ten)\\b','anonymous number') as phrase
from
test_table;
"""

spark.sql(SQL)

也可以用前后断言替代单词边界，进一步避免匹配歧义：

SQL= """SELECT text
,
regex_replace(
text,
'(?<=\\W|^)(?i)(zero|one|two|three|four|five|six|seven|eight|nine|ten)(?=\\W|$)','anonymous number') as phrase
from
test_table;
"""

spark.sql(SQL)

说明 #

• \\b：通过双反斜杠转义，正确表示正则中的单词边界。
• (?i)：放在数字单词组前，确保整个组内的单词不区分大小写匹配。
• 前后断言写法中的(?<=\\W|^)和(?=\\W|$)：精准匹配非单词字符或字符串首尾，确保只替换独立的数字单词，避免部分匹配。

测试后，修正后的语句会输出符合预期的结果，其他单词的大小写完全保留，仅目标数字单词被替换。

内容的提问来源于stack exchange，提问作者pavan krishna kaki