使用HttpClient设置最新User-Agent仍提示浏览器过时的问题

问题根源 #

1. 重复添加User-Agent：你的HttpClient是类级实例，每次点击按钮都会调用ParseAdd，导致请求头中存在多个User-Agent值，被网站判定为异常请求。
2. 缺少必要请求头：仅设置User-Agent不足以模拟真实浏览器，网站可能会检查Accept、Accept-Language等其他标准头。

修改后的代码 #

Imports System.Net
Imports System.Net.Http

Public Class Form1
    ' 使用静态HttpClient单例，避免频繁创建销毁实例
    Private Shared ReadOnly client As HttpClient = New HttpClient()

    Shared Sub New()
        ' 初始化时一次性配置请求头，避免重复添加
        client.DefaultRequestHeaders.Clear()
        ' 设置Chrome User-Agent
        client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36")
        ' 添加真实浏览器的标准请求头
        client.DefaultRequestHeaders.Accept.ParseAdd("text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8")
        client.DefaultRequestHeaders.AcceptLanguage.ParseAdd("zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")
        client.DefaultRequestHeaders.AcceptEncoding.ParseAdd("gzip, deflate, br")
        client.DefaultRequestHeaders.Add("DNT", "1")
        client.DefaultRequestHeaders.Add("Upgrade-Insecure-Requests", "1")
    End Sub

    Private Async Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
        Try
            Dim targetUrl As String = "https://ikalogs.ru/tools/map/?page=1&server=22&world=10&state=active&search=city&allies%5B1%5D=&allies%5B2%5D=&allies%5B3%5D=&allies%5B4%5D=&nick=Bauer&ally=&island=&city=&x=&y="
            ' 使用Await替代.Result，避免UI线程死锁
            Dim response As HttpResponseMessage = Await client.GetAsync(targetUrl)
            response.EnsureSuccessStatusCode() ' 主动抛出请求失败异常
            Dim responseContent As String = Await response.Content.ReadAsStringAsync()
            RichTextBox1.Text = responseContent
        Catch ex As Exception
            RichTextBox1.Text = "请求失败：" & ex.Message
        End Try
    End Sub
End Class

关键修改说明 #

• 初始化时配置请求头：在静态构造函数中一次性设置所有请求头，避免每次点击重复添加User-Agent。
• 补充标准请求头：添加Accept、Accept-Language等头，让请求行为更贴近真实浏览器。
• 规范异步调用：用Await替代.Result，避免异步操作导致的UI线程死锁，符合.NET异步编程最佳实践。

额外排查方向 #

如果上述修改后仍返回错误页面，可能是网站存在其他验证机制：

• Cookie验证：先访问网站首页获取Cookie，再携带Cookie请求目标页面。
• JavaScript渲染检测：网站可能通过JavaScript验证浏览器环境，此时需使用Selenium等工具模拟真实浏览器加载页面。

内容的提问来源于stack exchange，提问作者Mattia