自实现Vigenère加密脚本的大文件处理性能优化问题咨询

• 废弃一次性f.read()加载全文件的做法，改用固定大小的分块流式处理。根据存储介质选择合理块大小：SSD推荐16KB_{64KB块，机械硬盘可提升到64KB}256KB，减少IO调度的额外开销。
• 处理跨块的密钥位置连续性问题：Vigenère加密是按字节全局偏移匹配密钥的，每处理完一个块，要累加已处理的全局字节偏移量，后续块直接从该偏移位置续接取密钥，不要每块重置到密钥开头，否则会出现加解密错位。
• 参考实现逻辑：

BLOCK_SIZE = 16 * 1024  # 16KB单块读写大小
total_processed = 0     # 记录已处理的全局字节偏移
with open(input_path, 'rb') as f_in, open(output_path, 'wb') as f_out:
    while True:
        chunk = f_in.read(BLOCK_SIZE)
        if not chunk:  # 读到文件末尾退出循环
            break
        # 传入当前块、全局起始偏移做处理
        processed = process_chunk(chunk, key, mode=1, start_offset=total_processed)
        f_out.write(processed)
        total_processed += len(chunk)

现有实现的性能瓶颈完全来自两点：一是逐字节生成单元素bytes、拼接不可变bytes类型导致的O(n²)内存拷贝开销；二是纯Python层的逐字节循环解释执行成本过高，这就是772KB文件耗时13秒、且耗时增长不呈线性的核心原因。每次循环里的output_buffer += bytes([xxx])，因为bytes是不可变类型，每次追加都会重新申请内存、拷贝全部旧内容，处理77万字节的文件累计拷贝量能达到几十GB，文件越大，单次拷贝的成本越高，总耗时自然随文件大小呈平方级上涨。
针对核心逻辑的优化按投入产出比从高到低排序：

• 基础优化：用可变bytearray替代逐次拼接bytes，消除平方级拷贝开销
  废弃每次生成单元素bytes再拼接的写法，预分配和当前块等长的可变字节数组，逐次修改数组内的元素值，处理完之后统一转成bytes返回，完全避免重复的内存拷贝。这一步修改即可获得10~20倍的性能提升，且不需要引入额外依赖。
  参考实现：

def process_chunk(chunk, key, mode, start_offset):
    chunk_len = len(chunk)
    keylen = len(key)
    res = bytearray(chunk_len)
    for i in range(chunk_len):
        global_pos = start_offset + i
        k_byte = key[global_pos % keylen]
        # mode取1为加密，-1为解密
        res[i] = (chunk[i] + mode * k_byte) % 256
    return bytes(res)

• 进阶优化：用向量化运算替换纯Python层循环，逼近IO性能上限
  纯Python循环的解释执行开销很高，可以借助numpy的批量数组运算，把逐字节计算的逻辑下沉到C层实现，性能可以再提升1~2个数量级，基本能跑到磁盘的最大读写速度。
  参考实现：

import numpy as np

def process_chunk(chunk, key, mode, start_offset):
    chunk_len = len(chunk)
    # 把原始字节转成uint8类型的numpy数组，零拷贝
    data = np.frombuffer(chunk, dtype=np.uint8)
    # 计算当前块所有位置对应的密钥索引
    key_indices = (np.arange(chunk_len) + start_offset) % len(key)
    # 按索引取出对应密钥字节
    key_arr = np.frombuffer(key, dtype=np.uint8)
    key_bytes = key_arr[key_indices]
    # uint8类型自动按模256运算，无需额外取模
    res = (data + mode * key_bytes).astype(np.uint8)
    return res.tobytes()

• 无依赖优化：如果不想引入numpy，可利用标准库的bytes.translate()方法做批量字节映射，提前生成每个密钥段对应的256字节映射表，性能接近向量化实现，且完全基于Python标准库，没有第三方依赖。

内容的提问来源于stack exchange，提问作者Apo