移除特殊字符的Regex为何导致文本单词数量增加？

问题分析 #

你的核心问题有两个：

1. 合并多空格的正则已定义但未在清理流程中调用，导致替换特殊字符后产生的多空格未被合并；
2. 原RemoveSpecialChars正则存在两处问题：
   • 多余的零宽断言分支(?<=['\""]\s)会在不必要的位置插入额外空格，增加无效拆分；
   • 将英文单词中合法的撇号（如don't里的'）归为特殊字符替换成空格，导致完整单词被拆分为多个，直接推高数组元素数量，同时也会让原本带标点的the（如the,、the.）被拆分为单独的the，统计数大幅增加。

修正方案 #

1. 完善清理逻辑，调用多空格合并正则

修改CleanByRegex方法，在替换特殊字符后执行多空格合并，并去除首尾空格：

string CleanByRegex(string rawSource)
{
    // 替换特殊字符为空格
    var cleaned = RemoveSpecialChars().Replace(rawSource, " ");
    // 合并连续多空格为单个空格
    cleaned = RemoveWhiteSpaceTrails().Replace(cleaned, " ");
    // 移除文本首尾的空格
    return cleaned.Trim();
}

2. 修正特殊字符匹配正则

保留英文单词中的撇号，移除多余的零宽断言分支，修改RemoveSpecialChars的正则定义：

partial class Program
{
    [GeneratedRegex(@"[^a-zA-Z0-9']", RegexOptions.IgnoreCase | RegexOptions.Compiled, "en-SE")]
    private static partial Regex RemoveSpecialChars();
}

3. 可选：调整单词拆分方式（更健壮）

可以直接用正则匹配单词，替代先清理再拆分的方式，避免空格处理的问题：

// 直接匹配所有包含字母、数字和撇号的单词
var matches = Regex.Matches(rawSource, @"[a-zA-Z0-9']+", RegexOptions.IgnoreCase);
string[] arr = matches.Cast<Match>().Select(m => m.Value).ToArray();

这种方式无需提前清理空格，直接提取有效单词，逻辑更简洁。

效果说明 #

• 修正后，don't这类带撇号的单词会被保留为单个元素，不会拆分；
• 多空格被合并，不会产生无效的空元素；
• the,、the.这类带标点的the会被清理为单独的the，统计数的增加属于合理的文本清洗结果（原本未被统计的带标点实例现在被正确识别）。

内容的提问来源于stack exchange，提问作者LordAhune