为何HttpClient无法获取目标站点响应？请求超时但浏览器可正常访问

问题根源 #

1. 同步异步混用导致阻塞：原代码用SendAsync().GetAwaiter().GetResult()同步阻塞调用，在部分执行上下文里可能引发死锁，拖慢请求响应速度甚至超时。
2. 缺失浏览器标识请求头：默认HttpClient的User-Agent为.NET，Adobe这类站点会拦截非浏览器来源的请求，直接拒绝或限流。
3. 重定向配置不足：部分站点会通过多轮重定向返回内容，默认配置可能无法适配复杂跳转场景。

修正后的代码 #

using System;
using System.Net.Http;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        string uri = "https://helpx.adobe.com/de/robohelp/using/basics-of-conditional-content.html";
        
        var handler = new HttpClientHandler
        {
            AllowAutoRedirect = true,
            MaxAutomaticRedirections = 10
        };

        using var client = new HttpClient(handler);
        // 模拟Chrome浏览器的请求头
        client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");

        var request = new HttpRequestMessage(HttpMethod.Get, uri);
        
        try
        {
            var response = await client.SendAsync(request);
            response.EnsureSuccessStatusCode();
            string content = await response.Content.ReadAsStringAsync();
            Console.WriteLine(content);
        }
        catch (HttpRequestException ex)
        {
            Console.WriteLine($"请求异常: {ex.Message}");
        }
    }
}

关键优化点 #

• 全程异步调用：将Main设为异步方法，用await处理所有异步操作，避免同步阻塞引发的死锁和超时问题。
• 添加合法User-Agent：模拟主流浏览器的请求标识，让服务器正常响应请求。
• 显式配置重定向：调整最大重定向次数，适配站点的跳转逻辑。
• 资源自动释放：用using声明管理HttpClient和Handler，避免资源泄漏。

内容的提问来源于stack exchange，提问作者Mandalorian