如何在Python中将UTF-8字节偏移量转换为UTF-8字符偏移量

Python没有直接实现该转换的内置独立函数，但可以基于标准库能力快速实现，无需引入第三方依赖，以下是两种常用实现方案：

方案1：简易实现（适合少量偏移转换） #

直接对字节偏移前的字节片段做UTF-8解码，解码后字符串的长度就是对应的字符偏移量，不用手动处理UTF-8编码规则，代码简洁不易出错。

def byte_to_char_offset(byte_data: bytes, byte_offset: int) -> int:
    return len(byte_data[:byte_offset].decode("utf-8"))

# 测试用例
test_bytes = "aβgδe".encode("utf-8")  # 对应字节长度为7
test_offsets = [0, 1, 3, 4, 6]
char_offsets = [byte_to_char_offset(test_bytes, o) for o in test_offsets]
print(char_offsets)  # 输出 [0, 1, 2, 3, 4]，符合预期

方案2：预生成映射表（适合大量偏移转换） #

如果需要转换的偏移量很多、或者原字节串很长，可以提前遍历一次字节串生成字节偏移到字符偏移的映射表，后续所有偏移直接查表即可，效率更高。

def build_offset_map(byte_data: bytes) -> dict[int, int]:
    offset_map = {}
    char_idx = 0
    byte_idx = 0
    data_len = len(byte_data)
    while byte_idx < data_len:
        offset_map[byte_idx] = char_idx
        current_byte = byte_data[byte_idx]
        # 根据UTF-8编码规则判断当前字符占用字节数
        if current_byte < 0x80:
            step = 1
        elif 0xC0 <= current_byte < 0xE0:
            step = 2
        elif 0xE0 <= current_byte < 0xF0:
            step = 3
        elif 0xF0 <= current_byte < 0xF8:
            step = 4
        else:
            # 无效UTF-8字节可根据业务需要调整处理逻辑，这里默认按1字节占位处理
            step = 1
        byte_idx += step
        char_idx += 1
    return offset_map

# 测试用例
test_bytes = "aβgδe".encode("utf-8")
offset_map = build_offset_map(test_bytes)
test_offsets = [0, 1, 3, 4, 6]
char_offsets = [offset_map[o] for o in test_offsets]
print(char_offsets)  # 输出 [0, 1, 2, 3, 4]，符合预期

注意：输入的字节偏移需要是合法的UTF-8字符起始位置，否则解码会抛出UnicodeDecodeError异常，如果存在非法偏移的场景，可以给decode方法添加errors="replace"参数兼容处理。

内容的提问来源于stack exchange，提问作者Nemo XXX