如何高效从原始文件系统复制大段数据至文件？

我目前在使用一套古老的数据收集文件系统，它会通过专门的块记录文件在磁盘上的精确偏移信息——所以我能明确获取到每个文件的起始字节位置、结束字节位置以及总字节长度。我的需求是从物理磁盘中提取单个文件，但这些文件体积都很大，性能是核心痛点。

目前我有一个“能用但效率极低”的实现代码（代码未完成，保留原样）：

import shutil, io
def start_copy(startpos, endpos, filename="C:\\out.bin"):
    with open(r"\\.\PhysicalDrive1", 'rb') as src_f:
        src_f.seek(startpos)
        flength = endpos -

接下来我来分享几个能大幅提升性能的优化思路和实现方案：

为什么原有方案效率低？ #

这类低效问题的核心通常在于：默认Python IO操作的缓冲区太小，导致频繁触发系统IO调用；或者没有利用磁盘的连续读取特性，额外增加了数据拷贝的开销。

优化方案1：大缓冲区+低级IO操作 #

直接使用os模块的低级IO函数，配合大尺寸缓冲区，减少系统调用次数，充分利用磁盘连续读取的性能：

import os

def efficient_copy(startpos, endpos, filename="C:\\out.bin", buffer_size=1024*1024*64):  # 64MB缓冲区，可根据内存调整
    file_length = endpos - startpos
    if file_length <= 0:
        raise ValueError("起始位置不能大于等于结束位置")
    
    # 打开物理磁盘（只读、二进制模式）
    src_fd = os.open(r"\\.\PhysicalDrive1", os.O_RDONLY | os.O_BINARY)
    try:
        # 打开目标文件（写入、创建/覆盖、二进制模式）
        dst_fd = os.open(filename, os.O_WRONLY | os.O_CREAT | os.O_TRUNC | os.O_BINARY)
        try:
            # 定位到文件起始偏移
            os.lseek(src_fd, startpos, os.SEEK_SET)
            remaining_bytes = file_length
            
            while remaining_bytes > 0:
                # 每次读取不超过缓冲区大小的内容，避免内存占用过高
                read_size = min(buffer_size, remaining_bytes)
                data_chunk = os.read(src_fd, read_size)
                if not data_chunk:
                    break  # 意外提前读到文件末尾
                os.write(dst_fd, data_chunk)
                remaining_bytes -= len(data_chunk)
        finally:
            # 确保目标文件描述符被关闭
            os.close(dst_fd)
    finally:
        # 确保物理磁盘描述符被关闭
        os.close(src_fd)

优化点说明：

• 用os.open、os.read、os.write这些低级IO函数，减少Python层面的封装开销
• 64MB的大缓冲区大幅降低了系统IO调用的次数，让磁盘可以连续读取大块数据
• 通过try-finally块确保文件描述符无论发生什么情况都会被正确关闭，避免资源泄漏

优化方案2：内存映射（零拷贝极致性能） #

如果你的系统支持，使用内存映射（mmap）可以实现几乎零拷贝的数据传输，操作系统会直接处理磁盘和文件之间的数据交换，性能提升非常显著：

import mmap
import os

def mmap_copy(startpos, endpos, filename="C:\\out.bin"):
    file_length = endpos - startpos
    if file_length <= 0:
        raise ValueError("起始位置不能大于等于结束位置")
    
    with open(r"\\.\PhysicalDrive1", 'rb') as src_file:
        # 将磁盘的指定区域映射到内存中
        with mmap.mmap(src_file.fileno(), length=file_length, offset=startpos, access=mmap.ACCESS_READ) as mapped_region:
            with open(filename, 'wb') as dst_file:
                # 直接写入映射的内存内容，底层由操作系统处理数据传输
                dst_file.write(mapped_region)

优化点说明：

• 内存映射跳过了用户态和内核态之间的数据拷贝，让操作系统直接完成磁盘到文件的数据传输
• 代码更简洁，同时性能达到了Python能实现的极致水平，尤其适合超大文件的提取

注意事项 #

• 缓冲区大小不要设置得过大（比如超过系统可用内存的1/4），否则会导致系统频繁换页，反而降低性能
• 访问物理磁盘需要管理员权限，确保运行脚本时拥有足够的权限
• 测试阶段先用小文件验证正确性，确认没问题后再处理大文件

内容的提问来源于stack exchange，提问作者charjabug