Spark SQL中regexp_extract能否处理多场景管道分隔字符串提取

核心问题根源 #

现有正则表达式的缺陷：

• 仅能匹配字符串中存在连续||的场景，无||时因为正向预查无匹配位置，会直接返回空值，无法覆盖全单管道分隔的模式1场景。
• 调整后的单regexp_extract方案可完全覆盖三类规则，无需多函数嵌套。

单regexp_extract 实现逻辑 #

正则匹配逻辑说明 #

正则引擎侧的匹配规则为：

1. 优先定位字符串中最后一组连续||的起始位置：匹配从字符串开头到该位置的所有内容，不包含||本身，自动保留开头任意数量的前置管道。
2. 若字符串中完全不存在连续||，则直接匹配完整输入字符串，满足单管道分隔的场景要求。

可直接运行的Spark SQL测试语句 #

select 
  -- 模式1：全单管道分隔
  regexp_extract('a|b|c|d', '((.*?)(?=\\|\\|(?!.*\\|\\|))|^.*$)', 1) as 模式1结果,
  -- 模式2示例1：单双管道混合，多组连续||
  regexp_extract('a|b||c||d', '((.*?)(?=\\|\\|(?!.*\\|\\|))|^.*$)', 1) as 模式2_1结果,
  -- 模式2示例2：单双管道混合，单组连续||
  regexp_extract('a|b||c|d', '((.*?)(?=\\|\\|(?!.*\\|\\|))|^.*$)', 1) as 模式2_2结果,
  -- 模式3：前置任意数量管道，单双管道混合
  regexp_extract('|||a|b||c||d', '((.*?)(?=\\|\\|(?!.*\\|\\|))|^.*$)', 1) as 模式3结果

预期返回结果 #

更易维护的非正则实现方案 #

如果担心正则可读性差、后续维护成本高，可使用Spark内置字符串函数实现等价逻辑，匹配规则和正则完全一致：

select 
  case 
    -- 字符串中不存在连续||时，直接返回全量内容
    when locate('||', reverse(原字符串字段)) = 0 then 原字符串字段
    -- 存在连续||时，计算最后一组||的截断位置，截取前置内容
    else substring(原字符串字段, 1, length(原字符串字段) - locate('||', reverse(原字符串字段)) - 1)
  end as 提取结果
from 你的业务表

非正则方案逻辑说明 #

• 通过reverse反转字符串后，原字符串中最后出现的||会变成反转字符串中第一个出现的||，用locate即可快速定位位置，无需复杂回溯正则。
• 自动保留原字符串开头的所有前置管道，不会出现截断丢失的问题。

内容的提问来源于stack exchange，提问作者Priya