Golang中Bytes.Buffer转Unicode出现乱码的解决方案问询

问题原因分析 #

你遇到的乱码（比如…变成…）是典型的UTF-8编码被错误当作Latin1（ISO-8859-1）解码导致的。当Golang程序处理bytes.Buffer或I/O流时，若未明确指定UTF-8编码，部分场景下会默认用单字节编码解析多字节的UTF-8字符，进而产生乱码。

临时方案的局限性 #

你编写的convertUnicodeStringsToVisualRepresentations函数通过硬编码替换常见乱码，仅能覆盖有限的Unicode字符，无法解决全场景下的编码错误，属于治标不治本的方案。

推荐修复方案 #

你提到的repairLatin1函数是更通用的解决方案，核心逻辑是将错误解码的字符串重新按Latin1转为字节，再转回字符串（Golang中字符串默认按UTF-8处理），从而恢复正确的Unicode字符：

func repairLatin1(s string) string {
    // 将错误解析为Latin1的字符串转回字节，再用UTF-8重新解析
    return string([]byte(s))
}

该方案的原理是：乱码本质是UTF-8字节被当作Latin1字符读取，此时将字符串转回[]byte会得到原始的UTF-8字节序列，重新转为字符串时，Golang会正确按UTF-8解码，恢复原本的Unicode字符。

额外优化建议 #

• 文件读取时明确指定UTF-8编码，比如使用bufio.NewReader配合utf8.DecodeRune，或直接用ioutil.ReadFile（默认读取字节转字符串时按UTF-8处理）；
• 避免bytes.Buffer操作后不必要的字节-字符串转换，确保转换过程始终以UTF-8为编码标准；
• 可使用unicode/utf8包的工具函数验证字符串是否为合法UTF-8，提前发现编码问题。

内容的提问来源于stack exchange，提问作者Peter Kaufman