正则反向匹配实现特殊字符归一化器：保留指定格式内容需求

兄弟你这个归一化器的思路已经很清晰了！看你已经搞定了小数、话题标签、时间的处理，唯独对邮件处理没底，我给你梳理一套更严谨的实现方案，既能保留所有需要特殊对待的格式，又能精准给游离的特殊字符加空格：

核心规则先明确 #

首先得把「要处理的特殊字符」和「要保留的格式边界」划清楚：

• 需要处理的：所有游离的特殊字符（比如!@$%^&*()_+-=[]{}|;:'",<>?/~`），也就是不在以下格式里的符号
• 必须保留的格式：小数（如42.11）、话题标签（#test）、时间（14:30、9:45AM）、邮件（user@domain.com）、日期（2024-05-20、05/20/2024）、链接（https://example.com、www.example.org）

优化实现思路（避免踩坑） #

直接用正则断言容易搞出边界bug，比如邮件里的@和点，不如先把所有需要保留的格式用占位符临时替换，处理完游离特殊字符后再还原，这样逻辑更清晰，也不容易误改。

1. 先把特殊格式全标记为占位符 #

比如把user@example.com换成{{EMAIL_0}}，#test换成{{HASHTAG_1}}，这样处理的时候就不会碰这些内容里的符号。

2. 给游离特殊字符加空格 #

这时候剩下的都是普通文本和游离特殊字符，直接匹配所有非字母数字、非空格的符号，给它们左右加空格就行。

3. 还原所有占位符 #

把之前替换的占位符换回原来的格式内容，最后清理下多余的连续空格就搞定了。

完整代码示例（Python） #

import re

def text_normalizer(raw_text):
    # 用来存占位符和原内容的映射
    placeholder_map = []
    count = 0

    # 1. 替换所有需要保留的格式为占位符
    # 邮件格式匹配（覆盖绝大多数常见邮箱，包括带点的用户名、多级域名）
    email_re = re.compile(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}')
    def replace_email(match):
        nonlocal count
        ph = f'{{{{EMAIL_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = email_re.sub(replace_email, raw_text)

    # 链接格式匹配（http/https/www开头）
    link_re = re.compile(r'https?://\S+|www\.\S+')
    def replace_link(match):
        nonlocal count
        ph = f'{{{{LINK_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = link_re.sub(replace_link, raw_text)

    # 日期格式匹配（支持YYYY-MM-DD、MM/DD/YYYY、DD-MM-YYYY）
    date_re = re.compile(r'\d{4}-\d{2}-\d{2}|\d{2}/\d{2}/\d{4}|\d{2}-\d{2}-\d{4}')
    def replace_date(match):
        nonlocal count
        ph = f'{{{{DATE_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = date_re.sub(replace_date, raw_text)

    # 时间格式匹配（支持HH:MM、HH:MM AM/PM，不区分大小写）
    time_re = re.compile(r'\d{1,2}:\d{2}(?:\s?[AP]M)?', re.IGNORECASE)
    def replace_time(match):
        nonlocal count
        ph = f'{{{{TIME_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = time_re.sub(replace_time, raw_text)

    # 话题标签匹配（#后面跟字母数字，排除游离的#）
    hashtag_re = re.compile(r'#\w+')
    def replace_hashtag(match):
        nonlocal count
        ph = f'{{{{HASHTAG_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = hashtag_re.sub(replace_hashtag, raw_text)

    # 小数格式匹配（数字+点+数字）
    decimal_re = re.compile(r'\d+\.\d+')
    def replace_decimal(match):
        nonlocal count
        ph = f'{{{{DECIMAL_{count}}}}}'
        placeholder_map.append((ph, match.group()))
        count += 1
        return ph
    raw_text = decimal_re.sub(replace_decimal, raw_text)

    # 2. 给游离的特殊字符加空格
    # 匹配所有非字母数字、非空格的特殊字符
    special_char_re = re.compile(r'([!@#$%^&*()_+\-=\[\]{}|;:'",<>?/`~])')
    processed_text = special_char_re.sub(r' \1 ', raw_text)

    # 3. 还原所有占位符
    for ph, original in placeholder_map:
        processed_text = processed_text.replace(ph, original)

    # 4. 清理多余的连续空格，首尾去空格
    processed_text = re.sub(r'\s+', ' ', processed_text).strip()
    return processed_text

# 测试用例
test_input = "Hi! This is #test, my email is foo.bar@example.co.uk, time is 9:45AM, decimal is 3.1415, link is www.stackoverflow.com, date is 05/20/2024. What's wrong?"
print(text_normalizer(test_input))

测试输出 #

Hi ! This is #test , my email is foo.bar@example.co.uk , time is 9:45AM , decimal is 3.1415 , link is www.stackoverflow.com , date is 05/20/2024 . What ' s wrong ?

关键细节说明 #

• 邮件的正则已经支持带点的用户名（如foo.bar@xxx.com）和多级域名（如xxx.co.uk），解决了你之前的邮件处理疑虑
• 占位符的方式比纯正则断言更易维护，后续要加新的保留格式（比如电话号码）直接加对应的替换规则就行
• 最后清理连续空格是为了避免特殊字符前后本来有空格导致的重复空格问题

内容的提问来源于stack exchange，提问作者Minions