获取指定URL的HTML源码时出现编码错误的技术咨询

我来帮你搞定这个乱码问题！你遇到的编码错误，主要是因为目标越南网站大概率使用Windows-1258（越南语专属编码），而你的代码里没有正确识别并应用这个编码，默认用了UTF-8或系统编码读取，才导致乱码。

下面是修正后的完整代码，我还优化了几个细节，避免被网站拦截或资源泄漏：

private static string GetPageSource(string url)
{
    try
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        // 换成更贴近真实浏览器的UserAgent，避免被网站拦截
        request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
        
        using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
        {
            if (response.StatusCode == HttpStatusCode.OK)
            {
                Encoding encoding = null;
                // 先从响应头的Content-Type里提取指定的编码
                var contentType = response.ContentType;
                if (!string.IsNullOrEmpty(contentType))
                {
                    var charsetMatch = System.Text.RegularExpressions.Regex.Match(contentType, @"charset=(?<charset>[^;]+)");
                    if (charsetMatch.Success)
                    {
                        try
                        {
                            encoding = Encoding.GetEncoding(charsetMatch.Groups["charset"].Value);
                        }
                        catch (ArgumentException)
                        {
                            // 如果网站指定的编码不被支持， fallback到越南语常用的Windows-1258
                            encoding = Encoding.GetEncoding("Windows-1258");
                        }
                    }
                }
                
                // 如果响应头里没指定编码，直接用Windows-1258
                if (encoding == null)
                {
                    encoding = Encoding.GetEncoding("Windows-1258");
                }

                using (Stream receiveStream = response.GetResponseStream())
                using (StreamReader reader = new StreamReader(receiveStream, encoding))
                {
                    return reader.ReadToEnd();
                }
            }
            return string.Empty;
        }
    }
    catch (Exception ex)
    {
        // 这里可以根据你的需求添加异常处理，比如记录日志
        Console.WriteLine($"获取页面源码失败：{ex.Message}");
        return string.Empty;
    }
}

关键优化点说明： #

• UserAgent替换：原来的SO/1.0太简单，很多网站会拒绝这类请求，换成标准浏览器UA能降低被拦截的概率
• 智能编码识别：优先读取网站响应头里声明的编码，避免硬编码；如果头里没声明或者编码不支持，自动用越南语最常用的Windows-1258
• 资源自动释放：用using语句包裹HttpWebResponse、Stream和StreamReader，确保资源被正确释放，避免内存泄漏

如果试了Windows-1258还是有乱码，可以尝试把编码换成Encoding.UTF8——有些越南网站也会用UTF-8但没在响应头里明确声明，这时候手动指定UTF-8就能解决问题。

内容的提问来源于stack exchange，提问作者user2905416