Python中高效生成存储32位内存地址轨迹供仿真程序读取方案

核心原则 #

由于要生成42亿条数据，绝对不能将所有内容预存到内存后再输出，必须边生成边写入磁盘，从根源避免内存溢出问题。

方案1：逐行写入（最简实现） #

• 直接通过文件行缓冲机制，生成一行就写入一行，内存仅保留当前行数据。
• 代码示例：

# 开启行缓冲（buffering=1），确保每行写完立即落盘
with open("memory_trace.txt", "w", buffering=1) as f:
    for addr in range(0x100000000):  # 遍历0到2^32-1的所有地址
        # 每4个地址中，前3个为读操作，最后1个为写操作
        op = 'R' if (addr % 4) != 3 else 'W'
        # 格式化地址为8位十六进制格式
        line = f"0x{addr:08X} {op}\n"
        f.write(line)

方案2：批量写入（速度优化） #

• 批量生成N行数据后一次性写入，减少磁盘IO调用次数，提升整体生成速度，同时内存仅缓存一批数据。
• 代码示例：

def trace_generator(batch_size=10000):
    """生成器，批量输出轨迹行，每batch_size行触发一次批量写入"""
    for addr in range(0x100000000):
        op = 'R' if (addr % 4) != 3 else 'W'
        yield f"0x{addr:08X} {op}\n"
        # 达到批量阈值时，返回None触发写入
        if addr % batch_size == batch_size - 1:
            yield None

with open("memory_trace.txt", "w") as f:
    batch_buffer = []
    for item in trace_generator():
        if item is None:
            # 批量写入缓存的行
            f.writelines(batch_buffer)
            batch_buffer = []
            f.flush()  # 强制刷入磁盘，避免缓存堆积
        else:
            batch_buffer.append(item)
    # 处理最后一批不足batch_size的剩余数据
    if batch_buffer:
        f.writelines(batch_buffer)

方案3：系统命令辅助（极端提速） #

• 若Python循环效率仍无法满足需求，可利用类Unix系统的原生命令生成，底层实现更高效，速度远超纯Python。
• 示例（bash环境下执行）：

# 生成0到2^32-1的所有数字，通过awk格式化输出轨迹格式
seq 0 $((2**32-1)) | awk '{printf "0x%08X %s\n", $1, ($1%4==3)?"W":"R"}' > memory_trace.txt

关键注意事项 #

• 磁盘空间：42亿行数据，每行约15字节，总占用约63GB，需确保目标磁盘有足够剩余空间。
• 存储介质：优先使用SSD，机械硬盘的IO速度会大幅拖慢生成过程。

内容的提问来源于stack exchange，提问作者winterlyrock