Regex源生成器处理大型正则时dotnet build抛出OutOfMemoryException如何解决

• 现有总长度100万字符的大型正则，内容为|分隔的固定词列表，原本通过.NET源生成器方式声明：

[RegexGenerator(@"KnownItem1|KnownItem2|KnownItem3")]
private static partial Regex NamedEntities();

• 执行dotnet build时编译失败，抛出CS8785警告，提示RegexGenerator源生成器抛出OutOfMemoryException，此时dotnet.exe内存占用达5GB。
• 已尝试提升构建进程可用内存、关闭调试符号输出两类方案均无效。该问题为编译阶段源生成器故障，和常见的运行时正则OOM无关，对应正则在运行时解释模式下可正常执行。

• 方案1：跳过源生成器，对该正则使用运行时编译
  直接移除对应方法上的[RegexGenerator]特性，改为静态只读字段初始化Regex实例，开启编译选项即可。由于已经验证过正则本身在运行时可正常工作，该方案无兼容性问题，且完全绕开源生成器的内存限制：

  private static readonly Regex NamedEntities = new Regex(
      @"KnownItem1|KnownItem2|KnownItem3", 
      RegexOptions.Compiled | RegexOptions.CultureInvariant, 
      TimeSpan.FromSeconds(1)
  );
  

• 方案2：重构正则为前缀树结构，降低源生成器内存开销
  纯|拼接的长词列表会让源生成器构建状态机时产生极高的内存占用。可以先把所有待匹配词按公共前缀分组，转换为前缀树（Trie）结构的正则，比如把cat|car|card|dog改写为ca(?:r(?:d)?|t)|dog，通常能把正则总长度压缩60%~80%，状态机规模同步大幅下降，调整后即可正常通过源生成器编译。
• 方案3：拆分大正则为多个小正则，分散内存压力
  把百万字符的词列表按固定长度拆分为多个总长度不超过10万字符的子正则，每个子正则单独使用[RegexGenerator]生成，匹配时遍历所有子正则判断是否命中即可。单个小正则的源生成内存占用仅数百MB，不会触发OOM。

内容的提问来源于stack exchange，提问作者Jeow Li Huan