如何定位多字节字符串最后一个字符以实现低读取次数的字节级截断

场景背景 #

开发过程中处理多字节字符串时，经常需要实现删除最后一个字符的需求。理想的实现目标是：

• 准确定位到字符串中最后一个完整字符的起始位置
• 定位过程尽可能减少读取的字节次数，降低性能损耗
• 方案具备通用性，可适配绝大多数工业界在用的多字节编码，而非仅针对单一编码做特殊适配

自同步编码（以UTF-8为例）的简化处理 #

对于自带自同步特性的编码（最典型的就是UTF-8），定位逻辑完全不需要复杂判断：
这类编码的规则非常明确：单个字符拆分的连续字节里，只有最开头的那个字节有特殊的高位标记，剩下的所有后续延续字节都符合同一个固定格式——比如UTF-8的所有延续字节都是10xxxxxx结构，字节值范围锁死在0x80到0xBF之间。
实际写代码的时候根本不需要把整个字符串从头到尾扫一遍：直接从字符串最末尾的字节开始，往左逐字节检查，碰到第一个不符合延续字节格式的字节，这个位置就是最后一个完整字符的起始点，直接从这个位置切分字节串就完成了截断。
考虑到UTF-8的单字符最长也就占4个字节，整个定位过程最多从右往左读4个字节就够了，性能开销几乎可以忽略。

跨多编码的通用定位逻辑 #

要让方案适配绝大多数常用多字节编码，根本不需要针对每个编码单独写一套复杂的全量解析逻辑，核心是把编码本身的固定结构用起来，把回查的范围压到最小：

• 第一步先确认当前处理编码的单字符最大长度：比如GBK单字符最长占2字节、EUC-JP系列单字符最长占3字节、UTF-16在代理对场景下单字符最长占4字节。这个固定的最大长度，就是定位时需要反向回查的字节窗口大小，完全没必要把回查范围扩到整个字符串长度。
• 在这个末尾的小窗口里，按照编码的字节匹配规则，筛选出合法的字符起始位置：匹配到的字节必须符合该编码定义的字符起始字节特征，同时要排除误判——也就是要确保这个字节和它前面相邻的字节，不会组合成一个合法的完整字符，避免把字符中间的字节错当成字符开头。
• 确认起始位置后，直接把字符串的有效长度截断到这个位置，就完成了最后一个字符的删除操作。

拿大家最常用的GBK编码举个实际的操作例子：GBK的规则是，单字节字符范围是0x00-0x7F，双字节字符的首字节范围是0x81-0xFE，尾字节范围是0x40-0xFE（排除0x7F）。定位最后一个字符的时候，只需要检查末尾2个字节就行：

• 如果最后1个字节落在0x00-0x7F区间，那它自己就是单字节字符的起始点
• 如果最后1个字节落在合法的尾字节区间，那它前面相邻的那个字节，就是双字节字符的起始点
  整个过程最多读2个字节就能定位完成，完全不需要从头把整串扫一遍。

常见操作避坑 #

• 别直接用纯字节的截断逻辑（比如对原始字节串直接做str[:-1]切片），碰到多字节字符的时候很容易把一个完整字符切得只剩一半，直接出乱码。
• 别为了找最后一个字符的位置，每次都从头逐字符数到字符串末尾：这种写法的时间复杂度是和字符串长度正相关的O(n)，处理长文本的时候性能损耗会非常明显。用反向回查的方式，定位的时间复杂度是固定的O(k)——k就是对应编码的单字符最大字节数，不会随着字符串变长而增加。

内容的提问来源于stack exchange，提问作者Mingye Wang