使用System.Net.Http.HttpClient请求报ERR: Missing UA30错误求助

问题概述 #

使用F#的HttpClient请求https://portal.macleans.school.nz/index.php/ics/school.ics时，返回错误ERR: Missing UA30，但请求其他ICS格式URL正常；使用curl命令可正常下载该文件，推测基于同一.NET框架的C#也会出现相同问题。

排查核心 #

问题根源在于请求头的User-Agent差异：

• curl默认会发送包含curl/版本号的User-Agent，符合目标网站的验证要求
• .NET的HttpClient默认使用的User-Agent格式（如DotNetHttpClient）被目标网站的反爬/验证机制拦截，触发ERR: Missing UA30错误

解决方法 #

给HttpClient设置一个符合常规格式的User-Agent，模拟浏览器或curl的请求标识即可绕过验证。

修改后的F#代码 #

open System.Net.Http
open System.Net.Http.Headers

let url = "https://portal.macleans.school.nz/index.php/ics/school.ics"

let getAsync (client: HttpClient) (url: string) =
    async {
        let! content = client.GetStringAsync url |> Async.AwaitTask
        let len = content.Length
        printf "%d" len

        match len with
        | len when len < 50 -> printfn " content: %s" content
        | _ -> printfn ""
    }

// 创建HttpClient并设置合法的User-Agent
let client = new HttpClient()
// 可模拟浏览器UA
client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
// 也可模拟curl的UA：client.DefaultRequestHeaders.UserAgent.ParseAdd("curl/8.1.2")

getAsync client url
|> Async.RunSynchronously

说明 #

通过DefaultRequestHeaders.UserAgent.ParseAdd方法添加合法的User-Agent后，请求会被目标网站识别为常规客户端请求，即可正常获取ICS文件内容。测试时可根据实际情况调整User-Agent值，只要符合网站的验证规则即可。

内容的提问来源于stack exchange，提问作者kumkee