为何MemoryMarshal.Cast<byte,char>转换UTF8字节Span会产生乱码？

1. MemoryMarshal.Cast<byte, char>的本质：内存重新解释 #

MemoryMarshal.Cast<TFrom, TTo>根本不是对每个元素做强制类型转换，而是直接把一段内存的二进制数据，按照目标类型的大小重新分组解释。

在.NET里，char是16位（2字节）的UTF-16编码单元，而byte是8位（1字节）。当你对"foobar"u8（字节序列为0x66, 0x6F, 0x6F, 0x62, 0x61, 0x72）调用这个方法时，它会把每2个连续的byte拼接成1个char：

• 0x66 + 0x6F → 0x6F66（对应UTF-16编码的汉字“潦”）
• 0x6F + 0x62 → 0x626F（对应“扯”）
• 0x61 + 0x72 → 0x7261（对应“牡”）
  这就是你得到乱码的直接原因。

2. 手动循环byte转char的巧合正确性 #

你手动逐个把byte转成char时，本质是把单个8位的byte值填充到16位的char里（高位补0）。因为"foobar"的所有字符都是ASCII范围内的，这类字符在UTF-8里用单个字节表示，且对应的UTF-16编码刚好是字节值补0，所以这种转换碰巧能得到正确结果。

但要注意：这种方法只适用于ASCII字符。如果处理包含多字节的UTF-8字符（比如中文、emoji），手动逐个转byte为char同样会乱码。

3. 正确的UTF-8转字符串方式 #

UTF-8到.NET字符串（本质是UTF-16编码）需要解码过程，不是简单的内存转换或字节转字符。正确的做法是用Encoding.UTF8.GetString(span)或者Encoding.UTF8.GetChars，它们会严格按照UTF-8的编码规则，把多字节序列转换成对应的UTF-16字符单元，这也是你代码里FORCE_NOT_UTF8宏切换后能正常工作的原因。

内容的提问来源于stack exchange，提问作者James Jonatah