AngleSharp表单提交与分页导航问题：内存暴涨及空引用异常

我来帮你拆解下你遇到的两个核心问题：开启资源加载后内存飙升到1.5GB，以及关闭资源加载时脚本执行报错/出现NullReferenceException。结合你的代码和AngleSharp的特性，咱们一步步来解决：

问题根源分析 #

1. 资源加载导致内存暴涨 #

当你开启IsResourceLoadingEnabled = true时，AngleSharp会默认加载页面上所有资源——包括CSS、图片、第三方JS脚本等等。而且每次分页切换后，旧页面的DOM、资源引用都没有被及时回收，60次分页下来，内存自然会疯狂累积。另外，你复用了同一个BrowsingContext，所有页面的资源都会保存在这个上下文里，进一步加剧了内存占用。

2. 关闭资源加载时脚本执行失败 #

gp.pageClick(2)这个函数依赖页面中加载的特定JS文件（比如站点的分页脚本），关闭资源加载后，这些依赖脚本没有被下载执行，导致函数不存在，抛出异常；而脚本执行失败又会导致页面状态异常，最终触发NullReferenceException（比如ActiveElement找不到对应的元素）。

针对性解决方案 #

1. 精准控制资源加载，减少内存占用 #

不要全局开启资源加载，而是只加载必要的JS资源，过滤掉图片、CSS这些对分页逻辑没用的资源。可以通过ResourceFilter来实现：

var Configuration = AngleSharp.Configuration.Default
    .WithDefaultLoader(setup => {
        setup.IsResourceLoadingEnabled = true;
        // 只允许加载JS文件，过滤其他资源
        setup.ResourceFilter = request => request.Address.Path.EndsWith(".js", StringComparison.OrdinalIgnoreCase);
    }, requesters: new[] { Requester })
    .WithJavaScript()
    .WithCss();

2. 手动管理上下文与资源回收 #

每次分页处理完成后，主动清理当前文档的引用，让GC能及时回收内存。另外，也可以考虑为每一页创建独立的BrowsingContext，避免资源累积：

// 处理完一页后，主动释放旧文档引用
Page.Active = null;
// 触发GC（非必须，但可以加速内存回收）
GC.Collect();
GC.WaitForPendingFinalizers();

3. 替换Thread.Sleep，用异步等待确保脚本执行完成 #

Thread.Sleep是硬等待，既不高效也不可靠。可以监听页面的Load事件，或者等待分页后的特定元素出现，确保页面加载完成后再继续：

// 等待页面加载完成
await Page.Active.WaitForLoadAsync();
// 或者等待分页后的目标元素出现（替换成页面实际的代理元素选择器）
await Page.Active.WaitForSelectorAsync(".proxy-list-item");

4. 增强脚本执行的容错性 #

在执行分页脚本前，先检查gp对象是否存在，避免直接调用不存在的函数：

var result = await Page.Active.ExecuteScriptAsync("typeof gp !== 'undefined' ? gp.pageClick(2) : null");
if (result == null)
{
    // 处理脚本未加载的情况，比如手动构造分页请求
    Console.WriteLine("分页脚本未加载，尝试手动请求分页");
}

修改后的完整代码示例 #

static void Main(string[] args) { ASTester().GetAwaiter().GetResult(); Console.ReadKey(); }

static async Task ASTester() 
{ 
    var Handler = new HttpClientHandler() { 
        PreAuthenticate = true, 
        UseDefaultCredentials = false, 
    }; 
    var Client = new HttpClient(Handler); 
    Client.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); 
    var Requester = new HttpClientRequester(Client); 

    var Configuration = AngleSharp.Configuration.Default
        .WithDefaultLoader(setup => {
            setup.IsResourceLoadingEnabled = true;
            // 只加载JS资源，减少内存占用
            setup.ResourceFilter = request => request.Address.Path.EndsWith(".js", StringComparison.OrdinalIgnoreCase);
        }, requesters: new[] { Requester })
        .WithJavaScript()
        .WithCss(); 

    var Page = BrowsingContext.New(Configuration); 

    Console.WriteLine("初始内存占用: ~15 MB");
    // 打开初始页面
    await Page.OpenAsync("http://www.gatherproxy.com/proxylist/anonymity/?t=Elite");
    Console.WriteLine("打开页面后内存占用: ~80 MB");

    // 提交第一个表单
    await Page.Active.Forms[0].SubmitAsync();
    Console.WriteLine("提交表单后内存占用: ~300 MB");

    // 循环处理分页（示例处理前5页）
    for (int pageNum = 2; pageNum <= 5; pageNum++)
    {
        Console.WriteLine($"正在切换到第{pageNum}页...");
        // 先检查gp对象是否存在
        var gpExists = await Page.Active.ExecuteScriptAsync("typeof gp !== 'undefined'");
        if ((bool)gpExists)
        {
            await Page.Active.ExecuteScriptAsync($"gp.pageClick({pageNum});");
            // 等待页面加载完成
            await Page.Active.WaitForLoadAsync();
            // 这里可以添加处理当前页代理的逻辑
            Console.WriteLine($"第{pageNum}页加载完成");
        }
        else
        {
            Console.WriteLine($"第{pageNum}页脚本未加载，跳过");
            continue;
        }

        // 主动清理资源，触发GC
        Page.Active = null;
        GC.Collect();
        GC.WaitForPendingFinalizers();
        Console.WriteLine($"清理后内存占用有所下降");
    }
}

额外提示 #

如果内存问题还是很严重，可以考虑：

• 不要复用同一个HttpClient，或者定期重置HttpClientHandler
• 用IDisposable接口手动释放不再需要的对象
• 监控内存使用，通过GC.GetTotalMemory(false)查看实时内存情况

内容的提问来源于stack exchange，提问作者samuel guedon