VB URLExists函数检测URL存在性遇Cloudflare站点失效问题求助

原VB.NET函数通过HEAD请求判断URL是否存在，但遇到Cloudflare托管的站点时会失效——比如访问https://ezclix.club/m/1125时，因中间跳转至Cloudflare保护的站点，函数直接返回false，但实际URL是存在的。

问题原因 #

1. Cloudflare会拦截缺少合法浏览器标识的请求，原请求未携带User-Agent等头信息，被判定为非人类请求
2. 部分Cloudflare配置会直接拒绝HEAD请求
3. 原函数未处理重定向，遇到跳转时直接终止判断

修改后的函数 #

Public Function URLExists(ByVal url As String) As Boolean
    Try
        Dim webRequest As System.Net.HttpWebRequest = CType(System.Net.WebRequest.Create(url), System.Net.HttpWebRequest)
        ' 模拟浏览器请求头
        webRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
        webRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
        webRequest.Headers.Add("Accept-Language", "en-US,en;q=0.5")
        webRequest.AllowAutoRedirect = True ' 自动跟随重定向
        webRequest.Method = "GET" ' 改用GET请求避免HEAD被拦截

        Using response As System.Net.HttpWebResponse = CType(webRequest.GetResponse(), System.Net.HttpWebResponse)
            ' 只要状态码不是4xx（客户端错误）或5xx（服务器错误），就认为URL存在
            Dim statusCode As Integer = CInt(response.StatusCode)
            Return statusCode >= 200 AndAlso statusCode < 400
        End Using
    Catch ex As System.Net.WebException
        ' 捕获Web异常，判断是否为可忽略的情况
        If ex.Response IsNot Nothing Then
            Dim errorResponse As System.Net.HttpWebResponse = CType(ex.Response, System.Net.HttpWebResponse)
            Dim statusCode As Integer = CInt(errorResponse.StatusCode)
            Return statusCode >= 200 AndAlso statusCode < 400
        End If
        Return False
    Catch
        Return False
    End Try
End Function

关键修改说明 #

• 添加浏览器请求头：让Cloudflare识别为合法的浏览器请求，避免被拦截
• 启用自动重定向：跟随所有跳转直到最终目标页面，不会在中间跳转站点终止判断
• 改用GET请求：绕过Cloudflare对HEAD请求的限制
• 扩展状态码判断：除了200 OK，3xx类重定向状态码也代表URL有效，只要不是4xx/5xx错误就返回True

内容的提问来源于stack exchange，提问作者Craig