.NET Framework 4.8中String.Replace致特殊字符损坏的问题咨询

问题背景 #

我们在BizTalk Server 2020环境中有一个基于.NET Framework 4.8的自定义管道组件，组件通过ReadFully方法将输入流读取为字节数组：

private byte[] ReadFully(Stream inputStream)
{
    byte[] buffer = new byte[16 * 1024];

    inputStream.Position = 0; // 将输入流位置重置为0

    using (MemoryStream ms = new MemoryStream())
    {
        int read;
        while ((read = inputStream.Read(buffer, 0, buffer.Length)) > 0)
        {
            ms.Write(buffer, 0, read);
        }
        return ms.ToArray();
    }
}

之后我们需要替换文本中的特定字符串，于是将字节数组编码为字符串并执行替换：

var text = Encoding.UTF8.GetString(myByteArray);
text = text.Replace("+ABC","+CBA");

字符串包含ø这类特殊字符，替换前显示正常，但替换后ø变为ø出现损坏。经测试确认该问题与替换字符串中的+字符相关。目前我们通过替换字节序列解决了问题，但希望了解后台具体发生了什么，以及如何通过字符串替换的方式解决该问题。

复现步骤与代码 #

1. 创建.NET Framework 4.8控制台应用程序
2. 安装NuGet包WindowsAzure.Storage

核心代码：

static void Main(string[] args)
{
    string sBlobUrl = "https://stsharetmp.blob.core.windows.net/share/sample.001.edi?sp=r&st=2024-04-22T14:00:40Z&se=2024-05-20T22:00:40Z&spr=https&sv=2022-11-02&sr=b&sig=FJA4epCxKuDWZkI5rUMH%2B9B0k5wiNhmVTgd%2B0Nq2rZs%3D";            

    var downloadedBytes = ReadFully(DownloadBlobAsync(sBlobUrl).Result);
    Encoding contentEncoding = DetectEncoding(downloadedBytes);
    string result = Encoding.UTF8.GetString(Encoding.Convert(contentEncoding, Encoding.UTF8, downloadedBytes));
}

相关辅助方法（未检测到Unicode BOM时默认使用Windows-1252编码）：

static async Task<MemoryStream> DownloadBlobAsync(string blobUri)
{
    var blob = new CloudBlockBlob(new Uri(blobUri));
    MemoryStream memoryStream = new MemoryStream();
    blob.DownloadToStream(memoryStream);
    return memoryStream;
}

static byte[] ReadFully(Stream inputStream)
{
    byte[] buffer = new byte[16 * 1024];

    inputStream.Position = 0; // 将输入流位置重置为0

    using (MemoryStream ms = new MemoryStream())
    {
        int read;
        while ((read = inputStream.Read(buffer, 0, buffer.Length)) > 0)
        {
            ms.Write(buffer, 0, read);
        }
        return ms.ToArray();
    }
}

public static Encoding DetectEncoding(byte[] data)
{
    if (data == null)
        throw new ArgumentNullException(nameof(data));

    if (data.Length >= 2)
    {
        if (data[0] == 0xff && data[1] == 0xfe)
            return Encoding.Unicode; // UTF-16 LE
        if (data[0] == 0xfe && data[1] == 0xff)
            return Encoding.BigEndianUnicode; // UTF-16 BE
    }

    if (data.Length >= 3)
    {
        if (data[0] == 0xef && data[1] == 0xbb && data[2] == 0xbf)
            return Encoding.UTF8;
    }

    if (data.Length >= 4)
    {
        if (data[0] == 0 && data[1] == 0 && data[2] == 0xfe && data[3] == 0xff)
            return Encoding.UTF32;
    }

    // 未检测到BOM，默认使用Windows-1252编码
    return Encoding.GetEncoding(1252);
}

问题根源分析 #

1. 编码不匹配导致的错误解码/编码

   • 目标文件实际为Windows-1252编码（无BOM），但管道组件中直接使用Encoding.UTF8.GetString(myByteArray)解码，相当于将Windows-1252格式的字节按UTF8规则解析。
   • 以ø为例：Windows-1252中ø对应单字节0xF8，而UTF8中0xF8属于无效的单字节序列，.NET会将其解码为U+FFFD（替换字符），但部分显示场景下可能因兼容逻辑看起来正常。
   • 执行字符串替换后，修改后的字符串重新编码回字节数组时（推测后续使用了Windows-1252编码），U+FFFD会被编码为错误的字节组合，最终出现ø这类乱码。
   • 替换字符串中的+并非直接原因，而是替换操作触发了字符串内部存储的更新，使得原本被兼容处理的错误解码字符在后续编码中暴露为乱码。

2. 复现代码与管道组件的差异
   复现代码中通过DetectEncoding识别编码后，使用Encoding.Convert将原编码转换为UTF8再解码，这是正确的流程；但管道组件中跳过了编码检测步骤，直接用UTF8解码，这是问题的核心。

字符串替换方式的解决方案 #

要通过字符串替换解决问题，需确保解码和编码全程使用正确的编码匹配：

方案1：使用检测到的编码解码，替换后再转目标编码 #

// 1. 先检测字节数组的原始编码
Encoding contentEncoding = DetectEncoding(myByteArray);
// 2. 用正确的编码解码为字符串
var text = contentEncoding.GetString(myByteArray);
// 3. 执行字符串替换
text = text.Replace("+ABC", "+CBA");
// 4. 如果需要输出为UTF8字节数组，再转码
byte[] finalBytes = Encoding.UTF8.GetBytes(text);
// 如果需要保留原始编码，则用contentEncoding.GetBytes(text)

方案2：统一转换为UTF8处理（推荐） #

如果业务允许将输出统一为UTF8编码，可参考复现代码的流程：

// 1. 检测原始编码并转换为UTF8字节
Encoding contentEncoding = DetectEncoding(myByteArray);
byte[] utf8Bytes = Encoding.Convert(contentEncoding, Encoding.UTF8, myByteArray);
// 2. 用UTF8解码为字符串
var text = Encoding.UTF8.GetString(utf8Bytes);
// 3. 执行替换
text = text.Replace("+ABC", "+CBA");
// 4. 转回UTF8字节数组
byte[] finalBytes = Encoding.UTF8.GetBytes(text);

关键注意点 #

• 永远不要假设文件编码，必须通过BOM或业务规则明确编码类型；DetectEncoding方法仅能处理带BOM的情况，对于无BOM的文件，最好通过业务配置指定编码，避免默认值出错。
• 字符串替换操作本身不会导致乱码，乱码的根源始终是解码-编码的编码不匹配。

内容的提问来源于stack exchange，提问作者NDDev