C#中GeckoFX结合HtmlAgilityPack出现严重内存泄漏问题求助

我之前在做大规模网页抓取时也踩过GeckoFX的内存泄漏和性能下降的坑，结合你的场景，给你几个亲测有效的解决方案：

1. 进程隔离（最彻底的解决方案） #

GeckoFX基于XULRunner，底层的内存泄漏很难通过代码层面完全规避。把爬虫任务拆分成主进程+多个子进程是最靠谱的办法：

• 主进程负责管理任务队列、分发任务（比如每次给子进程分配100-200家企业）、收集结果；
• 子进程专门负责用GeckoFX执行网页抓取，完成分配的任务后自动退出，彻底释放所有资源。

具体实现可以用Process.Start()启动子进程，通过命令行参数传递待处理的企业信息，子进程完成后将结果写入临时文件或用命名管道（NamedPipe）传给主进程。这种方式能从根源上切断内存泄漏的累积，我用这个方案处理过百万级的抓取任务，长时间运行也不会出现性能暴跌的情况。

2. 优化GeckoFX的资源管理 #

你已经做了基础的缓存和图片禁用，但还有几个关键设置能进一步减少资源占用：

// 禁用DOM存储（localStorage/sessionStorage），避免残留数据
GeckoPreferences.Default["dom.storage.enabled"] = false;
// 禁用所有插件和扩展，减少不必要的资源加载
GeckoPreferences.Default["plugin.state.flash"] = 0;
GeckoPreferences.Default["extensions.enabledScopes"] = 0;
// 限制页面脚本执行超时，防止恶意脚本拖慢进程
GeckoPreferences.Default["dom.max_script_run_time"] = 5;
GeckoPreferences.Default["dom.max_chrome_script_run_time"] = 5;

每次处理完一家企业后，除了清理Cookie和缓存，还要强制清理当前页面的DOM资源：

// 导航到空白页，强制释放当前页面的DOM引用
Variables.browser.Navigate("about:blank");
// 等待空白页加载完成
do { f.Application.DoEvents(); } while (!Variables.BrowserIsReady);
// 手动清理DOM节点
if (Variables.browser.Document?.Body != null)
{
    Variables.browser.Document.Body.RemoveAllChildren();
}
Variables.browser.Document?.Close();

⚠️ 注意：不要频繁销毁重建GeckoWebBrowser实例，XULRunner组件的初始化开销很大，反而会降低性能，还可能残留底层资源。

3. 改进同步等待逻辑 #

你当前用do { Application.DoEvents(); } while (!BrowserIsReady);的方式容易导致消息队列阻塞，还可能因为页面iframe加载多次触发DocumentCompleted事件，导致等待逻辑异常。建议改用事件驱动的等待方式，用ManualResetEvent实现：

// 初始化一个重置事件，用于等待页面加载完成
private ManualResetEvent _pageLoadedEvent = new ManualResetEvent(false);

// 在浏览器初始化时注册事件
Variables.browser.DocumentCompleted += (s, e) =>
{
    // 只在主文档加载完成时触发，忽略iframe的加载事件
    if (e.Url.Equals(Variables.browser.Url))
    {
        _pageLoadedEvent.Set();
    }
};
Variables.browser.Navigating += (s, e) =>
{
    // 开始导航时重置事件
    _pageLoadedEvent.Reset();
};

// 导航并等待页面加载
Variables.browser.Navigate(targetUrl);
// 设置超时时间，避免无限等待（比如10秒）
if (!_pageLoadedEvent.WaitOne(TimeSpan.FromSeconds(10)))
{
    Variables.logger.Log("页面加载超时，跳过该企业");
    // 超时后强制导航到空白页，释放资源
    Variables.browser.Navigate("about:blank");
    _pageLoadedEvent.WaitOne(TimeSpan.FromSeconds(2));
}

这种方式比DoEvents()更稳定，不会阻塞消息循环，还能避免因页面加载异常导致的无限等待。

4. 内存监控与主动回收 #

定期检查进程内存占用，当超过阈值时触发强制GC和内存压缩：

private void CheckAndRecycleMemory()
{
    var currentProcess = Process.GetCurrentProcess();
    // 当内存占用超过1.5GB时触发回收
    if (currentProcess.WorkingSet64 > 1.5 * 1024 * 1024 * 1024)
    {
        // 强制触发全代GC，等待终结器完成
        GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced, true, true);
        GC.WaitForPendingFinalizers();
        // 调用XULRunner的内存压缩
        Xpcom.GetService<nsIMemory>("@mozilla.org/xpcom/memory-service;1").HeapMinimize(true);
        
        currentProcess.Refresh();
        Variables.logger.Log($"内存回收完成，当前占用：{currentProcess.WorkingSet64 / 1024 / 1024}MB");
    }
}

可以每处理50-100家企业调用一次这个方法，不要太频繁，否则会影响抓取效率。

5. 替代方案：改用PuppeteerSharp #

如果GeckoFX的问题始终无法解决，可以考虑换成PuppeteerSharp（.NET版的Puppeteer），它基于Headless Chrome，内存管理更成熟，长时间运行的泄漏问题更少，而且支持异步操作，抓取效率更高。

示例代码片段：

await using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = true,
    Args = new[] { "--no-sandbox", "--disable-gpu", "--disable-images" }
});
await using var page = await browser.NewPageAsync();
// 设置导航超时
await page.GoToAsync(targetUrl, new NavigationOptions { Timeout = 10000 });
// 获取页面HTML
var htmlContent = await page.GetContentAsync();
// 用HtmlAgilityPack解析
var doc = new HtmlDocument();
doc.LoadHtml(htmlContent);
// 后续节点处理逻辑...

虽然需要修改部分现有代码，但长期来看维护成本更低，性能更稳定。

内容的提问来源于stack exchange，提问作者C. Leimbach