使用WebClient设置UTF-8编码后，特殊字符仍被替换为?的问题排查

我之前也踩过这个坑！你遇到的问题核心在于WebClient的编码处理逻辑和你设置的时机不匹配——直接提前设置Encoding.UTF8并不会像你预期的那样生效，原因是：

• 问题根源：WebClient.DownloadString方法会优先读取服务器响应头Content-Type里指定的编码（比如charset=iso-8859-1），如果这个头存在，它会忽略你提前设置的Encoding；如果服务器没指定编码，它会 fallback 到系统默认编码，而不是你设置的UTF8，这就导致那些特殊字符（比如æ、ø、å、é）被错误解码成问号。

下面给你几个可行的解决方案：

• 方案1：直接操作流，强制指定UTF8解码
  绕开WebClient自动编码的逻辑，直接获取响应流并用UTF8读取，完全由你控制编码过程：

using (WebClient webClient = new WebClient())
{
    using (var responseStream = webClient.OpenRead("http://replacementurl.com"))
    using (var streamReader = new StreamReader(responseStream, Encoding.UTF8))
    {
        var pageContent = streamReader.ReadToEnd();
    }
}

• 方案2：先下载字节数组，再解码
  如果确认内容是UTF8编码，或者需要动态适配服务器返回的编码，可以先下载原始字节，再进行解码：

using (WebClient webClient = new WebClient())
{
    byte[] rawData = webClient.DownloadData("http://replacementurl.com");
    // 直接用UTF8解码
    var pageContent = Encoding.UTF8.GetString(rawData);
}

如果需要兼容服务器指定的编码，可以解析响应头动态获取编码：

using (WebClient webClient = new WebClient())
{
    byte[] rawData = webClient.DownloadData("http://replacementurl.com");
    string contentType = webClient.ResponseHeaders["Content-Type"];
    Encoding encoding = Encoding.UTF8; // 默认用UTF8兜底
    if (!string.IsNullOrEmpty(contentType))
    {
        var charsetMatch = System.Text.RegularExpressions.Regex.Match(contentType, @"charset=([^;]+)");
        if (charsetMatch.Success)
        {
            try
            {
                encoding = Encoding.GetEncoding(charsetMatch.Groups[1].Value);
            }
            catch
            {
                // 若指定编码不支持，仍用UTF8
            }
        }
    }
    var pageContent = encoding.GetString(rawData);
}

内容的提问来源于stack exchange，提问作者Zucchini