Go编译器如何识别字节切片中应组合为单个rune的字节？

示例代码 #

func main() {
    byteSlice := []byte{226, 140, 152, 97, 98, 99}
    fmt.Println(string(byteSlice))
}

输出结果 #

⌘abc

问题 #

在底层实现中，Go是如何判定前三个字节226, 140, 152应组合为单个uint32类型的rune：⌘，而剩余字节分别转换为三个独立的rune：a、b和c的？

Go的字符串底层遵循UTF-8编码规范，在将[]byte转为string时，会严格按照UTF-8的编码规则解析字节序列：

• 单字节字符（ASCII范围）：字节最高位为0，数值在0~127之间，比如97(a)、98(b)、99(c)，这类字节直接对应单个独立rune。
• 多字节字符：通过字节的二进制前缀标识占用字节数：
  • 2字节字符：首字节以110开头，后续字节以10开头；
  • 3字节字符：首字节以1110开头，后续每个字节都以10开头；
  • 4字节字符：首字节以11110开头，后续每个字节以10开头。

回到示例：

• 首字节226的二进制是11100010，以1110开头，说明这是一个3字节的UTF-8字符，需要读取后续两个字节来组合；
• 第二个字节140（二进制10001100）、第三个字节152（二进制10011000）都符合10开头的后续字节规则，因此三个字节被组合成单个rune⌘（对应Unicode码点U+2318）；
• 剩余的97、98、99属于单字节ASCII范围，各自对应独立rune。

Go底层的解析逻辑由unicode/utf8包实现，比如DecodeRune函数就是核心的解析入口，字符串转rune切片的过程会调用这类逻辑完成字节到rune的映射。

内容的提问来源于stack exchange，提问作者CodyW