VB.NET从主机复制文件到本地磁盘遇WebException报错，求排查

以下是导致System.Net.WebException的常见原因和对应修复方案：

1. HTML解析逻辑不严谨，生成无效下载地址 #

你用正则<a href=""(.*?)"" .*?>.*?</a>匹配链接时，会捕获到非文件类链接（比如锚点#top、mailto链接、其他网页地址），或是处理相对路径时出错：

• 如果fileUrl是绝对路径，直接拼接websiteUrl会生成重复域名的无效URL（比如https://mada.net/sys-23/https://other-site.com/file.zip）；
• 部分目录链接可能不满足EndsWith("/")的判断，被误当作文件处理。

修复方案：

• 用Uri类安全组合URL，自动兼容相对/绝对路径：

Dim baseUri As New Uri(websiteUrl)
Dim fileUri As New Uri(baseUri, fileUrl)
downloader.DownloadFile(fileUri, localFilePath)

• 过滤无效链接，只保留指向文件的地址：

' 跳过锚点、mailto、javascript等非资源链接
If Not fileUrl.StartsWith("#") AndAlso Not fileUrl.StartsWith("mailto:") AndAlso Not fileUrl.StartsWith("javascript:") Then
    ' 排除无后缀的目录链接
    If fileUrl.Contains(".") AndAlso fileUrl.LastIndexOf(".") > fileUrl.LastIndexOf("/") Then
        ' 执行下载逻辑
    End If
End If

2. 本地目标文件夹未创建 #

如果D:\MyFolder\不存在，WebClient.DownloadFile会直接抛出异常，因为它不会自动创建目录。

修复方案：
下载前检查并创建文件夹：

If Not Directory.Exists(localFolder) Then
    Directory.CreateDirectory(localFolder)
End If

3. SSL/TLS证书验证失败 #

虽然设置了SecurityProtocolType.Tls12，但如果远程主机使用自签名证书、证书过期或链不完整，WebClient会拒绝建立连接。

修复方案：
测试环境可临时跳过证书验证（生产环境需谨慎，建议配置合法证书）：

ServicePointManager.ServerCertificateValidationCallback = Function(sender, cert, chain, sslPolicyErrors) True

4. 未捕获具体异常细节 #

WebException包含详细错误信息（比如404文件不存在、403权限拒绝、网络超时），可以通过捕获异常定位问题：

Try
    downloader.DownloadFile(fileUri, localFilePath)
Catch ex As WebException
    Console.WriteLine($"下载失败: {fileUri.AbsoluteUri}")
    Console.WriteLine($"错误信息: {ex.Message}")
    If ex.Response IsNot Nothing Then
        Using response As HttpWebResponse = CType(ex.Response, HttpWebResponse)
            Console.WriteLine($"HTTP状态码: {response.StatusCode}")
        End Using
    End If
End Try

5. 远程服务器限制或网络问题 #

远程服务器可能有反爬策略禁止批量下载、需要身份验证，或是你的网络无法访问目标地址。可以先手动在浏览器打开websiteUrl，确认能正常查看文件列表，再测试单个文件的下载是否可行。

内容的提问来源于stack exchange，提问作者M.J