UTF-8编码为何支持1-4字节长度？解码时如何区分字符边界？

你提的这个问题戳中了UTF-8设计的核心巧思——没错，同一段UTF-8字符串里确实会同时存在1到4字节的字符，但它的编码规则从根源上避免了解码时的误判，具体来说是靠「字节前缀标识」机制实现的：

UTF-8的编码前缀规则 #

UTF-8给不同长度的字符设定了明确的二进制前缀，解码器只要读取字节的开头几位，就能立刻判断这个字节的角色：

• 1字节字符（ASCII范围）：二进制以 0 开头，格式为 0xxxxxxx。比如字母"A"的编码是0x41（二进制01000001），解码器看到开头的0，就知道这是一个独立的单字节字符。
• 2字节字符：起始字节以 110 开头，格式为 110xxxxx，后续紧跟1个以 10 开头的字节（格式10xxxxxx）。
• 3字节字符：起始字节以 1110 开头，格式为 1110xxxx，后续紧跟2个10开头的字节。
• 4字节字符：起始字节以 11110 开头，格式为 11110xxx，后续紧跟3个10开头的字节。

解码时的判断逻辑 #

解码器处理UTF-8字节流时，会按以下步骤操作：

1. 读取当前字节，检查前缀：
   • 如果是0开头：直接解析为单字节字符，然后移动到下一个字节；
   • 如果是110开头：标记需要再读取1个后续字节，把这2个字节合并解析为一个字符；
   • 如果是1110开头：标记需要再读取2个后续字节，合并3个字节解析；
   • 如果是11110开头：标记需要再读取3个后续字节，合并4个字节解析；
2. 所有后续的字节（即10开头的字节），解码器会明确知道它们是某个多字节字符的组成部分，绝不会把它们当作独立字符或者另一个多字节字符的起始字节——因为合法的UTF-8编码里，起始字节的前缀只能是0、110、1110、11110这四种，10开头的字节只能是后续字节。

举个实际例子：

• 汉字「中」的UTF-8编码是0xE4B8AD，对应二进制：11100100 10111000 10101101
• 旁边如果是ASCII字符「A」，编码是0x41（二进制01000001）
  解码器处理时，先看到「A」的0开头，直接解析为字符；接着看到「中」的1110开头，就会自动读取后面两个10开头的字节，合并成一个字符，完全不会出现把「A」和「中」的第一个字节误判为一个字符的情况。

这种设计不仅解决了歧义问题，还让UTF-8完美兼容ASCII——所有ASCII字符在UTF-8里都是单字节编码，这也是UTF-8能成为主流编码的重要原因之一。

内容的提问来源于stack exchange，提问作者X33