C# HttpClient如何强制将text/plain类型响应解析为UTF-8字符串

我使用HttpClient向远程端点发送请求，需要下载响应内容并以UTF-8编码字符串形式保存到文件。
当服务端返回正确的Content-Type响应头text/plain; charset=utf-8时，以下代码可以正常运行：

HttpClient client = new();

HttpResponseMessage res = await client.GetAsync(url);
string text = await res.Content.ReadAsStringAsync();

File.WriteAllText("file.txt", text);

但当前服务端返回的Content-Type仅标注基础类型text/plain，没有携带charset参数，无法正确获取UTF-8编码的字符串内容。我尝试了三种手动读取的实现方式：

HttpClient cl = new();

HttpResponseMessage res = await cl.GetAsync(url);

// 尝试1：直接默认读取字符串
string attempt1 = await res.Content.ReadAsStringAsync();

// 尝试2：读取字节数组后手动用UTF8转字符串
string attempt2 = Encoding.UTF8.GetString(await res.Content.ReadAsByteArrayAsync());

// 尝试3：读取流后转字节数组再用UTF8转字符串
Stream stream = await res.Content.ReadAsStreamAsync();
byte[] bytes = ((MemoryStream)stream).ToArray();
string attempt3 = Encoding.UTF8.GetString(bytes);

三种方式读取到的内容全部因为编码不匹配出现乱码。我没有服务端的控制权限，无法修改响应头配置。
我专门搭建了测试环境复现问题，分别提供带charset声明、无charset声明的两个测试端点用于调试。
后续排查确认，问题根因是主服务端开启了GZip压缩未被注意到。

手动指定UTF-8编码仍乱码的核心原因 #

手动读取字节再转码的逻辑本身不存在问题，乱码的本质是：代码拿到的字节数组并非原始的响应文本字节，而是经过GZip压缩后的二进制压缩数据。初始化HttpClient时如果没有开启自动解压缩配置，客户端不会自动对压缩后的响应做解压处理，此时无论用什么编码将压缩二进制转为字符串，必然会出现乱码。

正确实现方式 #

1. 开启HttpClient自动解压缩能力 #

创建HttpClient实例时，通过HttpClientHandler配置开启GZip、Deflate格式的自动解压支持，从根源上解决压缩内容未解压导致的字节错误问题：

var handler = new HttpClientHandler()
{
    AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate
};
HttpClient client = new HttpClient(handler);

2. 强制响应按UTF-8编码解析 #

当响应头没有携带charset参数时，ReadAsStringAsync()方法默认会使用ISO-8859-1编码解析内容，此时可以在拿到响应后手动修改内容头的CharSet属性，强制指定编码为UTF-8，再读取字符串即可：

HttpResponseMessage res = await client.GetAsync(url);
// 强制指定响应编码为UTF-8
res.Content.Headers.ContentType.CharSet = "utf-8";
string text = await res.Content.ReadAsStringAsync();
// 写入文件时也明确指定UTF-8编码
File.WriteAllText("file.txt", text, Encoding.UTF8);

如果不希望修改响应头，在正确开启自动解压缩之后，之前尝试的「读取字节数组/读取流后用Encoding.UTF8.GetString()转码」的逻辑也可以正常运行——此时拿到的是解压后的原始文本字节，转码不会再出现乱码。

补充说明：如果使用.NET 5及以上版本，也可以通过HttpClient的全局配置设置默认请求编码，但针对无charset声明的响应场景，手动覆盖CharSet属性的方式兼容性最好，适配所有.NET版本。

内容的提问来源于stack exchange，提问作者Brigan Reiz