如何在PySpark中用正则表达式从UDF提取最后一个右方括号

核心问题分析 #

直接用split(df["emailobj"], "]")拆分时，会将body内容里的所有]（比如[img123123.png]里的]）都作为分隔符，导致拆分后的索引完全混乱，无法准确定位目标内容。另外Spark使用Java正则语法，转义规则和Python原生正则略有区别，但更关键的是用split处理复杂嵌套结构并不合适，应该用正则捕获精准提取。

解决方案步骤 #

1. 用regexp_extract精准捕获各字段 #

针对你的emailobj字符串结构（类似['to地址', '[body内容]', 'from地址']），可以直接用正则一次性提取to、body、from三个字段，完全避开中间]的干扰：

from pyspark.sql.functions import regexp_extract

one_value = "['to@abc.com', '[* the cat in the hat is fat\n* synnopsis -- hey the cat who is wearing the hat is getting to big for its outfit as evidenced by this photo [img123123.png] \n* please get a new cat, or a new hat I would suggest something like this [newhatforcat.jpg]\nsigned\nbob <bob@somecompany.com>]', 'from@abc.com']"

df = spark.createDataFrame(data=[(one_value,),], schema='emailobj: string')

# 提取to地址：匹配第一个单引号内的内容
df = df.withColumn("to", regexp_extract(df["emailobj"], r"^\['([^']+)'", 1))
# 提取body：先匹配第二个单引号内的完整内容，再去掉首尾的[]
df = df.withColumn("body_raw", regexp_extract(df["emailobj"], r", '([^\']+)',", 1))
df = df.withColumn("body", regexp_extract(df["body_raw"], r"^\[(.*)\]$", 1))
# 提取from地址：匹配最后一个单引号内的内容
df = df.withColumn("from", regexp_extract(df["emailobj"], r"'([^']+)'\]$", 1))

df.select("to", "body", "from").show(truncate=False)

2. 若坚持用split定位最后一个] #

如果一定要用split拆分最后一个]，可以用Java正则的零宽断言\](?!.*\])（匹配后面没有其他]的那个]），注意语法直接使用即可：

from pyspark.sql.functions import split

# 按最后一个]拆分字符串
df_split = df.withColumn("split_last", split(df["emailobj"], r"\](?!.*\])"))
# 拆分后第一个元素是最后一个]之前的所有内容，第二个元素是之后的部分（空字符串）
df_split.select("split_last").show(truncate=False)

不过这种方法仅适用于拆分最后一个]，对于你的多字段解析场景，还是正则捕获的方案更稳定。

关键注意点 #

• Spark正则遵循Java语法，转义字符需用双反斜杠\\（比如匹配特殊字符时），但]在字符类外无需转义，零宽断言这类语法可直接使用。
• 避免依赖split的固定索引值，因为body内容里的]数量可能变化，会导致索引失效，正则捕获是更可靠的选择。

内容的提问来源于stack exchange，提问作者user2188565