C# Encoding.UTF8.GetString的Go等效实现及结果差异问询

嘿，这个差异的根源其实是C#和Go对无效UTF-8字节序列的处理方式完全不同——哪怕两者都关联UTF-8编码，实际行为却有本质区别：

核心差异点拆解 #

• C#的Encoding.UTF8.GetString()：它严格遵循UTF-8规范解析字节，当遇到无法识别的无效字节（比如你数组里的第一个字节0x90，既不属于UTF-8单字节范围0x00-0x7F，也不符合多字节首字节的规则），会自动把每个无效的字节/字节序列替换成单个替换字符�（U+FFFD）。简单说，不管一段无效序列有多长，都会被统一换成一个�。
• Go的string([]byte)：Go里的string本质就是字节序列的只读容器，它根本不强制要求内容是合法的UTF-8。当你把[]byte转成string时，Go不会做任何校验或替换，直接把字节原样保留。当终端输出这些无效字节时，终端会根据自身的编码规则来渲染，可能会输出多个�或者其他乱码，这就和C#的输出产生了差异。

举个具体例子：你数组开头的144（十六进制0x90）是无效UTF-8字节，C#会把它替换成一个�，而Go会直接把0x90放进字符串里，终端显示时可能会把它解析成多个乱码符号，这就是开头输出不一致的直接原因。

让Go输出和C#对齐的方法 #

如果你想让Go的输出和C#一致，就得手动处理无效的UTF-8字节，把它们替换成U+FFFD。可以用Go标准库的unicode/utf8包实现：

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    bytes := []byte{144, 197, 217, 192, 204, 249, 181, 42, 92, 252, 243, 87, 170, 243, 169, 80, 175, 112, 192, 239}
    
    // 清理无效UTF-8字节，替换为U+FFFD
    var cleanedRunes []rune
    for i := 0; i < len(bytes); {
        runeVal, size := utf8.DecodeRune(bytes[i:])
        if runeVal != utf8.RuneError {
            cleanedRunes = append(cleanedRunes, runeVal)
            i += size
        } else {
            cleanedRunes = append(cleanedRunes, '\ufffd')
            i++
        }
    }
    
    fmt.Println(string(cleanedRunes))
}

这段代码会逐个解析字节数组里的UTF-8序列，遇到无效内容就替换成�，最终输出会和C#的结果完全一致。

内容的提问来源于stack exchange，提问作者Kunal