Python中快速读取int16并转换为float32的高效方案

核心思路：减少内存拷贝与中间数组开销 #

你当前的np.fromfile(fid, 'int16').astype('float32')会触发两次独立的内存分配：一次是读取生成int16数组，另一次是转换时创建float32数组。提速的关键在于跳过中间数组的内存消耗，用更直接的方式完成读取+类型转换。

方法1：预分配float32数组，直接用fromfile写入（推荐） #

numpy的fromfile支持将数据直接写入预分配的数组，这样可以一次性完成读取和类型转换，避免中间int16数组的创建与销毁。

示例代码：

import numpy as np

# 先计算文件中的int16元素总数（需提前获取文件大小）
fid.seek(0, 2)
file_size = fid.tell()
fid.seek(0)
num_elements = file_size // np.dtype('int16').itemsize

# 预分配目标float32数组
float_data = np.empty(num_elements, dtype='float32')
# 直接读取int16数据到float32数组，numpy内部完成类型转换
np.fromfile(fid, dtype='int16', count=num_elements, out=float_data)

该方法仅分配一次内存，且读取与转换在numpy的C级逻辑中完成，相比原方案能大幅减少内存拷贝开销。

方法2：内存映射（mmap）处理大文件 #

如果文件体积过大，内存映射可以避免全量加载文件到内存，同时直接完成类型转换：

import numpy as np
import mmap

with open('your_file.bin', 'rb') as f:
    with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ) as mm:
        # 将内存映射区视为int16数组，再转为float32（尝试无拷贝转换）
        int_data = np.frombuffer(mm, dtype='int16')
        float_data = int_data.astype('float32', copy=False)

copy=False参数会尝试在原内存区域直接转换类型（依赖系统内存对齐规则），成功的话可完全避免额外内存拷贝。

关于逐字节填充的误区 #

你提到的np.frombuffer逐字节填充反而会降低效率——手动逐字节操作会把numpy的向量化C级运算降级为Python循环，反而大幅增加耗时，完全没必要这么做。

额外优化点 #

• 如果磁盘IO是瓶颈，可一次性读取文件内容到bytes对象，再用frombuffer处理：

  with open('your_file.bin', 'rb') as f:
      raw_bytes = f.read()
  float_data = np.frombuffer(raw_bytes, dtype='int16').astype('float32', copy=False)
  

  这种方式减少了文件IO的系统调用次数，进一步提升效率。

内容的提问来源于stack exchange，提问作者Marcus Therkildsen