Databricks中SQL与PySpark执行regexp_replace结果不一致问题

本质是两层字符串转义规则不匹配，两种执行路径下最终传给正则引擎的匹配模式完全不同：

• 直接执行%sql单元格时，编写的SQL文本会直接交给Spark SQL解析器处理，没有额外前置转义步骤：写的\\d会被SQL解析器识别为转义后的单个反斜杠加d，最终传入Java正则引擎的匹配规则为[(]\d+[)]，可以正确匹配括号包裹的纯数字串，替换逻辑生效，返回预期结果TEST (PA)。
• 执行%python单元格时，SQL是包裹在Python三引号字符串内的，会先经过Python解释器的第一轮字符串转义，再交给Spark SQL做第二轮解析：写的\\d会被Python先转义为\d，等SQL拿到这段正则字符串时，单个反斜杠属于SQL层面无法识别的无效转义，会被直接丢弃，最终传入正则引擎的规则变成了[(]d+[)]——这个规则只能匹配括号包裹的连续d字符，完全匹配不到(1234)，因此替换逻辑不生效，原字符串完整保留返回。

可以直接在Python中打印字符串内容验证转义结果：执行print('[(]\\d+[)]')，输出为[(]\d+[)]，和%sql单元格中编写的原始正则文本并不一致。

任选以下一种修改方式，即可让Python执行场景和直接执行SQL的结果对齐：

1. 增加反斜杠转义层级：把正则里的每个\\替换为\\\\，经过Python、SQL两轮转义后，最终传入正则引擎的规则就会符合预期，示例代码：

%python
display(spark.sql("""select upper(regexp_replace('Test (PA) (1234) ', '[(]\\\\d+[)]', '')) as result"""))

2. 使用Python原始字符串（raw string）：在三引号前加r前缀，让Python解释器跳过字符串内的反斜杠转义逻辑，正则文本会原封不动传给Spark SQL，和直接写%sql的效果完全一致，示例代码：

%python
display(spark.sql(r"""select upper(regexp_replace('Test (PA) (1234) ', '[(]\\d+[)]', '')) as result"""))

内容的提问来源于stack exchange，提问作者Pat Stroh