持续运行的C# HTML解析进程随时间变慢的技术求助

这是个很典型的长期运行服务性能衰减问题，你已经做了非常到位的前置排查——排除了内容变化、内存耗尽、系统资源竞争这些常见坑，还能用极简代码复现，这给定位问题提供了关键依据。结合你描述的“仅HTML解析变慢、重启恢复”的现象，大概率和CLR内存分配/GC机制或Windows内存管理行为有关，下面逐个拆解可能的原因：

1. 小对象分配引发的GC代晋升与内存碎片 #

HTMLAgilityPack的解析逻辑确实会生成海量小对象：每个HTML节点、属性字符串、文本片段都是独立的小内存块。这些对象一开始会被分配在CLR的Gen0（年轻代），正常情况下Gen0的GC回收速度极快，不会有明显影响。但如果进程长期运行，以下情况会导致性能衰减：

• 意外的对象晋升：如果某些小对象被静态引用（比如HTMLAgilityPack内部的缓存、你代码中未注意的全局容器），或者因为GC回收时机的巧合，这些对象会被晋升到Gen1甚至Gen2（老年代）。老年代的GC回收成本极高，不仅停顿时间长，而且多线程场景下会触发全局GC锁，导致所有分配线程阻塞等待。
• 内存碎片：大量小对象的分配和回收会在老年代留下很多内存碎片，当需要分配新对象时，CLR需要花费更多时间寻找连续的内存块，甚至触发GC整理内存，这会直接拖慢解析速度。

2. 线程本地分配缓存（TLAB）的竞争与耗尽 #

CLR为每个线程提供了TLAB（Thread Local Allocation Buffer），用来让线程快速分配小对象，避免全局内存分配锁的竞争。但在你的Parallel.For多线程场景下：

• 每个线程都会频繁分配大量小对象，TLAB会很快耗尽，线程需要重新向GC申请新的TLAB，这时候就会产生锁竞争。
• 随着进程运行时间增加，CLR可能会根据历史分配数据调整TLAB的大小，如果调整后的大小不匹配当前的分配模式，会加剧TLAB的耗尽频率，进一步增加竞争开销。

3. Windows内存管理器的工作集页换出 #

虽然你的进程仅占用500MB（远低于服务器32GB的总内存），但Windows的内存管理器会根据进程的内存访问模式动态调整工作集（即进程实际占用的物理内存页）：

• 如果系统检测到你的进程某些内存页长时间未被访问，会将这些页换出到虚拟内存（即使物理内存充足）。
• 当HTML解析需要频繁访问这些被换出的页时，会触发硬页错误（Hard Page Fault），线程会阻塞等待内存页从磁盘加载回物理内存，这会显著降低解析速度。重启进程后，所有必要的内存页会重新加载到物理内存，速度自然恢复。

4. HTMLAgilityPack内部的静态资源累积 #

虽然你的极简代码每次创建新的HtmlDocument，但HTMLAgilityPack内部可能存在静态缓存（比如字符编码映射、实体解析表），随着运行时间增加，这些缓存会不断膨胀：

• 不仅会占用更多内存，还会在解析时增加查找、匹配的成本。
• 某些静态对象可能持有未释放的引用，导致相关的小对象无法被GC回收，间接加剧了代晋升和内存碎片问题。

验证与解决建议 #

针对以上推测，你可以通过以下步骤验证并解决问题：

验证手段 #

• GC行为分析：用PerfView或dotTrace工具监控GC的回收频率、各代对象的占比、GC停顿时间。如果发现Gen2回收频率越来越高，停顿时间持续增加，那就是代晋升和碎片的问题。
• TLAB监测：用CLR Profiler查看TLAB分配失败的次数，如果这个数值随着时间推移不断上升，说明TLAB竞争或大小不合理。
• 页错误统计：在Windows任务管理器的“进程”标签中查看“页面错误”计数，或者用Performance Monitor监控Process\Page Faults/sec指标。如果该指标持续走高，说明存在页换出问题。

解决措施 #

1. 优化GC行为：
   • 尝试启用Server GC（在app.config中配置<gcServer enabled="true"/>），Server GC为每个CPU核心分配独立的堆，减少多线程下的GC锁竞争。
   • 调整GC的代大小阈值（通过COMPlus_Gen0Size等环境变量），减少对象晋升到老年代的概率。
2. 调整并行度：
   • 降低Parallel.For的并行度（比如用ParallelOptions.MaxDegreeOfParallelism指定核心数的一半），减少多线程之间的内存分配竞争。
3. 锁定工作集：
   • 调用Windows API SetProcessWorkingSetSize将进程的工作集锁定在物理内存中，避免页换出（注意：仅在物理内存充足的场景下使用，否则会影响其他进程）。
4. 替换解析库：
   • 尝试使用更高效的HTML解析库，比如AngleSharp——它的内存分配模式更优，减少小对象的产生，且原生支持异步解析，性能稳定性更好。
5. 复用解析实例：
   • 如果线程安全允许，尝试复用HtmlDocument实例（比如用对象池），减少重复初始化和内存分配的开销。

内容的提问来源于stack exchange，提问作者Benoit Sanchez