如何优化Python中字节数组自定义转义功能的执行性能

核心优化思路 #

原实现性能瓶颈不在字节转整数的操作上，而是Python层面的逐字节循环、字典查找、列表动态扩容的开销过高，最优方案是尽量用Python内置的C实现的方法代替手写Python循环。

方案1：链式bytes.replace（性能最优，实现最简单） #

bytes.replace是纯C实现的批量替换操作，性能比手写Python循环高1~2个数量级，仅需注意替换顺序：优先替换反斜杠本身，避免后续替换把生成的转义反斜杠二次转义。
代码实现：

# 替换规则按优先级排序，反斜杠必须放在第一个替换
ESCAPE_REPLACEMENTS = [
    (b'\\', b'\\\\'),
    (b'\x00', b'\\z'),
    (b'"', b'\\q'),
    (b';', b'\\s'),
    (b'\n', b'\\n'),
    (b'\x0c', b'\\f'),
    (b'\r', b'\\c'),
]

def escape(string: bytes) -> bytes:
    for old_byte, new_byte in ESCAPE_REPLACEMENTS:
        string = string.replace(old_byte, new_byte)
    return string

这个方案不需要修改任何规则逻辑，直接兼容原有需求，性能提升最明显。

方案2：预分配bytearray减少动态开销 #

如果后续需要扩展更复杂的转义逻辑，无法用replace实现，可以预分配固定长度的bytearray避免列表动态扩容的开销，性能比原实现提升30%~50%：

ESCAPE_DICT={
    0x00: (0x5C,0x7A),
    0x22: (0x5C,0x71),
    0x3B: (0x5C,0x73),
    0x5C: (0x5C,0x5C),
    0x0A: (0x5C,0x6E),
    0x0C: (0x5C,0x66),
    0x0D: (0x5C,0x63),
}

def escape(string: bytes) -> bytes:
    # 先统计转义需要的额外长度，预分配空间
    extra_length = 0
    for b in string:
        if b in ESCAPE_DICT:
            extra_length += 1
    res = bytearray(len(string) + extra_length)
    pos = 0
    for b in string:
        repl = ESCAPE_DICT.get(b)
        if repl is None:
            res[pos] = b
            pos += 1
        else:
            res[pos], res[pos+1] = repl
            pos += 2
    return bytes(res)

注意这里把原字典的列表改成了元组，减少元数据开销，同时避免列表的可变性带来的额外消耗。

极端性能场景优化 #

如果处理的字节串超过100MB，还可以采用以下方案进一步提升：

• 换用PyPy运行代码，PyPy的JIT编译器可以把循环性能提升5~10倍
• 用Cython/C编写转义逻辑，直接操作内存，性能可以达到CPython的数十倍

另外原代码存在笔误：最后返回的变量名是escaped_array，但实际定义的列表是escaped_list，运行会报错，优化时需要修正。

内容的提问来源于stack exchange，提问作者Andrea Costanzo