如何仅通过数学运算实现UTF-8十六进制到Unicode码点的转换

参考的编码对应表如下：

转换的核心逻辑是剥离UTF-8每个字节的固定前缀，提取有效位后按权拼接，全部用基础的加减乘和幂运算就能实现：

前置规则：UTF-8字节前缀规则 #

UTF-8是变长编码，根据首字节的数值可以判断总字节数，以及每个字节需要剥离的固定前缀：

• 1字节序列：首字节范围0x00~0x7F（十进制0~127），最高位固定为0，无前缀需要剥离，有效位共7位
• 2字节序列：首字节范围0xC0~0xDF（十进制192~223），首字节高3位固定为110，后续1个字节高2位固定为10，有效位共5+6=11位
• 3字节序列：首字节范围0xE0~0xEF（十进制224~239），首字节高4位固定为1110，后续2个字节每个高2位固定为10，有效位共4+6+6=16位
• 4字节序列：首字节范围0xF0~0xF7（十进制240~247），首字节高5位固定为11110，后续3个字节每个高2位固定为10，有效位共3+6+6+6=21位

实例运算（以表格第一行数据为例） #

已知UTF-8三个字节十进制值为227、129、130，属于3字节序列，运算步骤如下：

1. 剥离首字节前缀：227 - 224（3字节首字节固定前缀值）= 3，对应4位有效位
2. 剥离第二个字节前缀：129 - 128（后续字节统一固定前缀值）= 1，对应6位有效位
3. 剥离第三个字节前缀：130 - 128 = 2，对应6位有效位
4. 按权累加：首字节有效位需要左移12位（后续两个字节共占12位），第二个字节有效位左移6位，第三个字节直接相加，即：
   3 * 2^12 + 1 * 2^6 + 2 = 3*4096 + 64 + 2 = 12354，和表格中的Unicode码点完全一致。

通用简易运算公式 #

假设UTF-8序列总长度为n个字节，可直接套用公式计算：

Unicode码点 = (首字节数值 - 首字节前缀值) * 2^(6*(n-1)) + 所有后续字节(字节数值 - 128)按顺序左移6*(n-i)位累加（i为字节序号，从2到n）

不同序列长度对应的首字节前缀值：

• n=1：前缀值0
• n=2：前缀值192
• n=3：前缀值224
• n=4：前缀值240

用表格第二行数据验证：UTF-8值为227、129、132，计算得(227-224)*4096 + (129-128)*64 + (132-128) = 12288 +64 +4 =12356，和对应码点匹配。

内容的提问来源于stack exchange，提问作者mihails.kuzmins