Python中向IO追加重复字节流的最优实现方案问询

核心解决方案：自定义重复字节流类 #

实现一个符合类字节对象规范的自定义类，让文件对象的write方法可直接读取它，无需手动循环，也不用预生成完整字节序列：

class RepeatingBytes:
    def __init__(self, chunk: bytes, repeat_count: int):
        self.chunk = chunk
        self.chunk_len = len(chunk)
        self.total_bytes = self.chunk_len * repeat_count
        self.position = 0

    def __len__(self):
        return self.total_bytes

    def __getitem__(self, key):
        if isinstance(key, slice):
            start = key.start or 0
            stop = key.stop or self.total_bytes
            step = key.step or 1
            if step != 1:
                raise ValueError("Step not supported")
            
            result = bytearray()
            remaining = stop - start
            current_pos = start
            
            while remaining > 0:
                chunk_offset = current_pos % self.chunk_len
                take = min(remaining, self.chunk_len - chunk_offset)
                result.extend(self.chunk[chunk_offset:chunk_offset+take])
                current_pos += take
                remaining -= take
            
            return bytes(result)
        else:
            if key < 0 or key >= self.total_bytes:
                raise IndexError("Index out of range")
            return self.chunk[key % self.chunk_len]

使用示例 #

# 假设buffer是open("target_file.bin", "a+")返回的文件对象
buffer.write(RepeatingBytes(b"0", 50_000))

方案原理 #

Python的BufferedWriter.write()方法支持任何实现类字节对象接口的实例——只要对象实现了__len__和__getitem__（支持切片访问），write方法就会通过底层C逻辑高效读取数据并写入文件，完全避开Python层循环的开销：

• 内存占用极低：仅存储原始重复片段（如示例中的b"0"），无需预生成全部50000字节的数据
• 写入速度接近预生成完整数据的方案：底层C处理比Python循环快一个数量级
• 复用性强：一次实现后，可用于任意重复片段和次数的写入需求

与现有方案对比 #

内容的提问来源于stack exchange，提问作者trapdrap