PySpark中使用正则表达式校验字段内分号分隔的多邮箱地址合法性

核心校验规则 #

本次校验需同时满足以下全部要求，任意一条不满足即标记为无效：

• 单个邮箱必须包含@标识
• 单个邮箱必须以.com作为后缀
• 多个邮箱之间仅允许使用英文分号;作为分隔符，不允许出现逗号、连续分号、空值等其他非法格式
• 字段内所有邮箱都需符合单邮箱规则，不允许存在任意一个不合规的邮箱条目

可选实现方案 #

方案1：全字段正则匹配（适配大数据量场景，性能最优） #

不需要对字段做拆分遍历，直接通过正则表达式对整条字段内容做全量匹配，一次性覆盖分隔符规则、单邮箱规则两类校验要求：

1. 先拼接合法结构的正则规则：单邮箱格式为带@+后缀.com，多邮箱场景为多个单邮箱用分号连接，无其他多余字符
2. 对应完整匹配正则表达式为：
   ^([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.com)(;[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.com)*$
3. 直接复用PySpark内置的rlike方法完成匹配，示例代码如下：

   from pyspark.sql.functions import col, when
   
   valid_full_pattern = r"^([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.com)(;[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.com)*$"
   
   df_with_check = df.withColumn(
       "a_new",
       when(col("a").rlike(valid_full_pattern), "Valid").otherwise("Invalid")
   )
   

该方案的优势是无额外的数组拆分、遍历操作，完全依托Spark底层的正则优化能力处理，适配TB级数据量的校验场景，不会产生额外性能开销。

方案2：拆分逐元素校验（灵活度高，适配规则频繁调整场景） #

如果已实现单邮箱的校验逻辑、且后续单邮箱规则需要频繁迭代调整，可先按分号将字段拆分为数组格式，再对数组内的每个元素逐一校验：

1. 用分号拆分原字段为邮箱数组
2. 复用已有的单邮箱正则，逐个数组元素做匹配，只要有任意元素不满足规则、或存在空值，整条记录直接标记为无效
3. 示例代码如下：

   from pyspark.sql.functions import col, split, array_all, when
   
   # 直接复用已实现的单邮箱校验逻辑
   single_email_pattern = r"^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.com$"
   
   df_with_check = df.withColumn(
       "email_item_list",
       split(col("a"), ";")
   ).withColumn(
       "a_new",
       when(
           # 所有拆分后的邮箱元素均满足单邮箱规则
           array_all(col("email_item_list"), lambda item: item.rlike(single_email_pattern)),
           "Valid"
       ).otherwise("Invalid")
   ).drop("email_item_list")
   

该方案的优势是单邮箱的校验逻辑可独立调整，不需要改动全量匹配的正则表达式；非分号分隔的内容会因为拆分后不满足单邮箱规则，被自动判定为无效，完全符合校验要求。

样例校验结果对照 #

内容的提问来源于stack exchange，提问作者Santosh