PySpark中rlike()函数校验金额正则匹配失效问题

问题核心原因 #

匹配失效由3个核心问题导致：

• 字符串转义逻辑错误：PySpark的rlike()底层调用Java正则引擎，传入正则时使用Python普通字符串的话，字符串中的反斜杠会被Python解释器提前转义。比如你写的'\$'会被解析为普通的$，传到Spark的正则就变成^$?-?[0-9]*,?[0-9]*\.?[0-9]*$——其中开头的$会被正则识别为行尾匹配符，直接导致整个正则逻辑完全失效。这也是regex101测试正常但代码运行异常的原因：regex101是直接把输入的正则传给引擎，没有Python字符串的转义过程。
• 布尔判断写法错误：col(xxx).rlike(...) == False的写法不符合PySpark语法，==作用在Column对象上返回的是列判断表达式，不是原生布尔值，无法被filter()正确识别逻辑；另外使用~取反时如果不加括号，存在运算符优先级导致的逻辑偏差。
• 原生正则逻辑有漏洞：原始正则没有限制负号位置（会匹配-$-123这类带两个负号的非法值），仅支持单个千分位逗号（无法匹配1,234,567.89这类多逗号的标准金额格式），还会匹配空串、",."这类完全不符合金额规则的内容。

修正方案 #

1. 使用Python原始字符串（字符串前加r前缀）传入正则，避免Python提前转义反斜杠
2. 修正正则逻辑，覆盖合法金额规则：负号仅允许出现在$前或$后二选一，支持多段千分位逗号，允许小数点前后为数字
3. 取反时给rlike()整体表达式加括号，明确运算优先级

修正后可运行代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import *

# 修正后的正则：可匹配-$123、$-123、$1,234.56、1234、.56、123.这类符合规则的金额
amount_pattern = r'^-?\$-?(?:\d{1,3}(?:,\d{3})*|\d*)(?:\.\d*)?$'

df = df.unionAll(
    cdf.withColumn("ErrorMessage", lit("Invalid Amount Recovered"))
       .filter(~(col("AmountRecovered").rlike(amount_pattern)))
).distinct()
display(df)

补充说明 #

如果业务要求金额不能是仅含符号、小数点/逗号的无效值，可以把正则调整为更严格的版本，比如要求整数或小数部分至少有一位数字，避免匹配到$、$-、$.这类无实际数值的内容。

内容的提问来源于stack exchange，提问作者Vaishnavi S