正则匹配含未允许字符即拒绝值的PySpark校验问题排查

你的代码存在三个核心问题，导致无法正确标记所有含非法字符的字段：

错误点1：布尔值与字符串的错误比较 #

你的isAsciiUdf返回的是Python布尔值（True/False），但代码中用== "false"（字符串）做判断，两者永远不匹配，导致第一步的when逻辑完全失效，所有ASCII内容被错误设为空。

错误点2：正则未使用全匹配 #

rlike默认是部分匹配，只要字段中存在一个符合ALLOWED_CHARS的字符就返回True。比如ELI弟ABEßH里包含A-Z字符，~col(i).rlike(ALLOWED_CHARS)会返回False，错误地将该字段设为空，而非保留标记。

错误点3：分步逻辑冲突 #

你先将ASCII内容设为空，再判断非法字符，导致原本需要标记的ASCII非法字符（如ELIZABET@）被提前清空，无法被后续逻辑识别。

修正方案 #

根据你的需求（仅允许ALLOWED_CHARS中的ASCII字符，非法字符包括非ASCII字符或不在允许列表中的ASCII字符），可以通过正则全匹配直接实现，无需多余的ASCII判断UDF：

代码示例 #

from pyspark.sql.functions import when, col, lit

# 注意：ALLOWED_CHARS需要是合法的正则字符类，比如允许大写字母和空格则写为"[A-Z ]"
# 若包含正则特殊字符（如^、$、.等），需要用反斜杠转义，比如允许@则写为"[A-Z@]"
ALLOWED_CHARS = "[A-Z]"

for i in colList:
    # 正则^和$确保全字符串所有字符都属于ALLOWED_CHARS
    df = df.withColumn(
        i,
        when(~col(i).rlike(f"^{ALLOWED_CHARS}+$"), col(i)).otherwise(lit(""))
    )

特殊场景处理（允许非ASCII的特定字符） #

如果你的ALLOWED_CHARS包含非ASCII字符（比如允许ß），需要用UDF逐个字符判断：

from pyspark.sql.functions import udf, lit, when, col
from pyspark.sql.types import BooleanType

# 允许的非ASCII字符集合
ALLOWED_NON_ASCII = {'ß'}

def is_valid(s):
    if s is None:
        return False
    for c in s:
        # 字符是ASCII，或者属于允许的非ASCII字符
        if not (c.isascii() or c in ALLOWED_NON_ASCII):
            return False
    return True

is_valid_udf = udf(is_valid, BooleanType())

for i in colList:
    df = df.withColumn(
        i,
        when(~is_valid_udf(col(i)), col(i)).otherwise(lit(""))
    )

验证效果 #

针对你的输入示例，修正后的代码会正确标记：

• ELIZABET@（@不在允许列表）
• ELIZABET弟（含非ASCII中文）
• ELI弟ABEßH（含中文和非ASCII的ß）

符合你的预期输出。

内容的提问来源于stack exchange，提问作者Muskan Makhija