Python读取UTF-8文件时如何获取每个字符的字节起止偏移量？

问题描述 #

需要读取UTF-8编码的文本文件，同时获取每个字符在文件中的字节起始和结束位置。由于多字节字符的存在，字符与字节并非1:1对应。尝试过逐字符读取并通过offset += len(c.encode('utf-8'))维护偏移量，但这种方法在处理解码错误时不够可靠。期望得到字符-偏移量对列表，或字符串搭配偏移量整数列表。另外，脚本需要处理非可信文本文件（学生代码生成），需具备鲁棒性，尽可能兼容而非直接报错。

解决方案 #

方法一：使用codecs增量解码器（高效且鲁棒） #

增量解码器可以跟踪每个解码字符对应的原始字节长度，同时灵活处理解码错误，适合大文件场景：

import codecs

def read_utf8_with_offsets(file_path):
    char_offset_pairs = []
    current_byte_offset = 0
    # 创建增量解码器，用'replace'替代无效字节
    decoder = codecs.getincrementaldecoder('utf-8')(errors='replace')

    with open(file_path, 'rb') as f:
        while chunk := f.read(4096):  # 按块读取提升效率
            chars = decoder.decode(chunk, flush=False)
            chunk_pos = 0
            for char in chars:
                matched = False
                # UTF-8字符最多4字节，尝试匹配当前字符对应的原始字节
                for byte_len in range(1, 5):
                    if chunk_pos + byte_len > len(chunk):
                        break
                    try:
                        decoded_char = chunk[chunk_pos:chunk_pos+byte_len].decode('utf-8', errors='strict')
                        if decoded_char == char:
                            start = current_byte_offset + chunk_pos
                            end = start + byte_len
                            char_offset_pairs.append((char, start, end))
                            chunk_pos += byte_len
                            matched = True
                            break
                    except UnicodeDecodeError:
                        # 无效字节对应替换后的�，占1字节
                        start = current_byte_offset + chunk_pos
                        end = start + 1
                        char_offset_pairs.append((char, start, end))
                        chunk_pos += 1
                        matched = True
                        break
                if not matched:
                    # 极端情况，按1字节处理
                    start = current_byte_offset + chunk_pos
                    end = start + 1
                    char_offset_pairs.append((char, start, end))
                    chunk_pos += 1
            current_byte_offset += len(chunk)
        # 处理解码器中剩余的字节
        remaining_chars = decoder.decode(b'', flush=True)
        for char in remaining_chars:
            start = current_byte_offset
            end = start + 1
            char_offset_pairs.append((char, start, end))
            current_byte_offset += 1
    return char_offset_pairs

方法二：原始字节流逐字符解码（简洁版） #

适合小文件场景，直接读取全部原始字节后逐个解码，同时记录偏移量：

def read_utf8_with_offsets_simple(file_path):
    with open(file_path, 'rb') as f:
        raw_bytes = f.read()

    char_offset_pairs = []
    offset = 0
    while offset < len(raw_bytes):
        try:
            # 尝试从当前偏移量解码一个完整UTF-8字符
            char = raw_bytes[offset:offset+4].decode('utf-8')
            byte_len = len(char.encode('utf-8'))
            char_offset_pairs.append((char, offset, offset + byte_len))
            offset += byte_len
        except UnicodeDecodeError:
            # 无效字节替换为�，跳过1字节
            char_offset_pairs.append(('�', offset, offset + 1))
            offset += 1
    return char_offset_pairs

结果拆分 #

如果需要单独的字符串和偏移量列表，可以从结果中拆分：

result = read_utf8_with_offsets("your_file.txt")
char_sequence = [item[0] for item in result]
start_offsets = [item[1] for item in result]
end_offsets = [item[2] for item in result]

关键注意事项 #

• 错误处理策略：可根据需求替换errors='replace'为errors='ignore'（跳过无效字节）或errors='backslashreplace'（转义无效字节）
• 大文件适配：方法一采用分块读取，不会一次性加载全部内容到内存，更适合大文件
• 鲁棒性：两种方法都能处理畸形UTF-8输入，避免直接报错中断处理

内容的提问来源于stack exchange，提问作者incaseoftrouble