.NET中HttpWebRequest无法下载部分域名图片的问题排查求助

我来帮你搞定这个头疼的问题！你遇到的场景太常见了——浏览器能正常拉取的图片，用HttpWebRequest却报错，核心原因通常是底层安全协议不匹配或者请求细节没完全模拟浏览器。先看看具体的解决方案：

1. 强制启用现代TLS版本（最可能解决你的问题） #

很多现代网站已经不再支持老旧的TLS 1.0/1.1，而.NET Framework的旧版本（比如4.5及以下）默认不会启用TLS 1.2/1.3。这会导致握手失败，直接断开连接，就出现了你看到的“基础连接已关闭”错误。

在创建HttpWebRequest之前，加上这行代码：

ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 Or SecurityProtocolType.Tls13

这会强制程序使用TLS 1.2或1.3，和现代浏览器的行为对齐。

2. 补全请求头，更贴近浏览器的请求 #

你的请求头已经模拟了一部分，但可以再补充几个关键字段，比如Connection和Cache-Control：

httpWebRequest.Headers.Add(HttpRequestHeader.Connection, "keep-alive")
httpWebRequest.Headers.Add(HttpRequestHeader.CacheControl, "max-age=0")

另外，注意Accept-Encoding如果设置的话，服务器可能返回压缩内容，你需要额外处理解压；如果暂时不想麻烦，可以去掉这个头或者设置为identity（不压缩）。

3. 临时跳过证书验证（仅测试用，生产环境禁用） #

如果网站的证书存在信任问题（比如自签名证书），浏览器会弹窗提示，但HttpWebRequest会直接报错。你可以临时添加回调跳过验证，但生产环境绝对不能用：

ServicePointManager.ServerCertificateValidationCallback = Function(sender, cert, chain, sslPolicyErrors) True

4. 改用HttpClient替代HttpWebRequest（推荐方案） #

HttpWebRequest是比较老旧的API，而HttpClient是.NET官方推荐的现代HTTP客户端，默认处理了很多细节（比如自动TLS协商、连接池），代码也更简洁。给你写个对应的VB.NET示例：

Imports System.Net.Http
Imports System.IO

Async Function DownloadImageAsync() As Task
    Using httpClient As New HttpClient()
        ' 设置请求头
        httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 6.3; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0")
        httpClient.DefaultRequestHeaders.Accept.ParseAdd("text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
        httpClient.DefaultRequestHeaders.AcceptLanguage.ParseAdd("en-us,en;q=0.5")
        httpClient.DefaultRequestHeaders.Referrer = New Uri("https://www.oglf.org")
        
        ' 下载图片并保存
        Dim imageBytes As Byte() = Await httpClient.GetByteArrayAsync("https://www.oglf.org/wp-content/uploads/2017/12/BestLEDTeethWhitening.jpg")
        Await File.WriteAllBytesAsync("c:\imagetest.jpg", imageBytes)
    End Using
End Function

修改后的你的原始代码示例 #

把TLS设置加上后，你的代码应该可以正常运行：

Imports System.Net
Imports System.IO

Sub DownloadImage()
    ' 强制启用TLS 1.2/1.3
    ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 Or SecurityProtocolType.Tls13
    
    Dim httpWebRequest = DirectCast(WebRequest.Create("https://www.oglf.org/wp-content/uploads/2017/12/BestLEDTeethWhitening.jpg"), HttpWebRequest)
    httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0"
    httpWebRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
    httpWebRequest.Headers.Add(HttpRequestHeader.AcceptLanguage, "en-us,en;q=0.5")
    httpWebRequest.Referer = "https://www.oglf.org"
    httpWebRequest.AllowAutoRedirect = True
    httpWebRequest.KeepAlive = True
    ' 补充Connection头
    httpWebRequest.Headers.Add(HttpRequestHeader.Connection, "keep-alive")
    
    Try
        Dim httpWebResponse = DirectCast(httpWebRequest.GetResponse(), HttpWebResponse)
        If (httpWebResponse.StatusCode <> HttpStatusCode.OK AndAlso httpWebResponse.StatusCode <> HttpStatusCode.Moved AndAlso httpWebResponse.StatusCode <> HttpStatusCode.Redirect) OrElse Not httpWebResponse.ContentType.StartsWith("image", StringComparison.OrdinalIgnoreCase) Then 
            Return 
        End If
        Using stream = httpWebResponse.GetResponseStream()
            Using fileStream = File.OpenWrite("c:\imagetest.jpg")
                Dim bytes = New Byte(4095) {}
                Dim read = 0
                Do
                    If stream Is Nothing Then Continue Do 
                    read = stream.Read(bytes, 0, bytes.Length)
                    fileStream.Write(bytes, 0, read)
                Loop While read <> 0
            End Using
        End Using
    Catch ex As WebException
        ' 这里可以加异常日志，方便排查
        Console.WriteLine($"下载失败：{ex.Message}")
    End Try
End Sub

先试试第一种方案（强制TLS版本），这应该是解决你问题的关键！如果还是不行，再逐步补充其他设置。

内容的提问来源于stack exchange，提问作者memme