Python3如何低内存占用地以字节/位方式迭代大字符串

针对超大字符串的分组加密需求，要避免全量复制内存对象，以下是几种高效实现思路：

1. 用codecs.iterencode逐块编码（推荐） #

str.encode()会一次性生成完整的bytes副本，但codecs.iterencode()可以返回编码字节块的迭代器，逐字符处理编码，不会一次性占用大内存，还能自动处理UTF-8等变长编码的字符边界（不会拆分多字节字符）。

示例代码：

import codecs

# 假设你的分组加密函数是encrypt_block，块大小为16字节（AES标准）
BLOCK_SIZE = 16

def process_large_string(large_str):
    # 迭代编码后的字节块，每次输出的块大小不固定但内存占用低
    for byte_chunk in codecs.iterencode(large_str, 'utf-8'):
        # 将当前字节块拆分为加密所需的固定大小块
        for i in range(0, len(byte_chunk), BLOCK_SIZE):
            block = byte_chunk[i:i+BLOCK_SIZE]
            # 处理不足一个块的填充（根据你的加密算法需求）
            if len(block) < BLOCK_SIZE:
                block = block.ljust(BLOCK_SIZE, b'\x00')
            # 执行加密
            encrypted_block = encrypt_block(block)
            # 输出或存储加密结果
            yield encrypted_block

2. 手动分块字符串后编码（简单可控） #

如果你需要更精细控制字符块大小，可以手动将超大字符串拆分为小的子串，逐个编码为bytes。注意：这种方法要避免拆分变长编码的字符（比如UTF-8中汉字占3字节），所以建议按字符数分块而非字节数，编码后再拆分加密块。

示例代码：

# 按字符数分块，比如每次处理4096个字符（对应UTF-8下最多12KB字节）
CHAR_BLOCK_SIZE = 4096
BLOCK_SIZE = 16

def process_large_string(large_str):
    for i in range(0, len(large_str), CHAR_BLOCK_SIZE):
        # 截取小字符块
        sub_str = large_str[i:i+CHAR_BLOCK_SIZE]
        # 编码为小bytes对象，内存占用可控
        byte_chunk = sub_str.encode('utf-8')
        # 拆分加密块并处理
        for j in range(0, len(byte_chunk), BLOCK_SIZE):
            block = byte_chunk[j:j+BLOCK_SIZE]
            if len(block) < BLOCK_SIZE:
                block = block.ljust(BLOCK_SIZE, b'\x00')
            encrypted_block = encrypt_block(block)
            yield encrypted_block

3. 基于mmap的零拷贝处理（适合文件来源的字符串） #

如果你的超大字符串来自本地文件，直接用mmap映射文件到虚拟内存，完全不需要加载整个文件到内存，直接按块读取处理，内存占用几乎可以忽略。

示例代码：

import mmap

BLOCK_SIZE = 16

def process_large_file(file_path):
    with open(file_path, 'r+b') as f:
        # 映射整个文件，length=0表示映射全部内容
        with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ) as mm:
            total_size = len(mm)
            for i in range(0, total_size, BLOCK_SIZE):
                # 直接从映射内存中切片读取块，无额外复制
                block = mm[i:i+BLOCK_SIZE]
                if len(block) < BLOCK_SIZE:
                    block = block.ljust(BLOCK_SIZE, b'\x00')
                encrypted_block = encrypt_block(block)
                yield encrypted_block

针对你尝试过的方法的补充说明 #

• memoryview：仅支持bytes类型，若配合上述分块编码的方式（得到小bytes后用memoryview(block)），可以进一步减少内存复制，但对整体内存优化的增益有限。
• str.encode()：直接调用确实会生成全量bytes副本，但分块编码或用iterencode就能避免这个问题。
• mmap：如果是文件来源的字符串，mmap不会创建大内存对象，迭代时直接切片读取即可；如果是内存中的超大字符串，不建议用mmap（需要先写入临时文件，额外磁盘IO反而降低效率）。

内容的提问来源于stack exchange，提问作者Ozelot Vanilla