如何用SciPy在Python中导入大体积IDL .sav文件避免内存错误

遇到大IDL .sav文件（>1GB）加载内存不足的问题确实很头疼，我来分享几个实用的解决方案，从简单到进阶逐一介绍：

1. 只读取需要的变量（Scipy内置支持） #

Scipy的readsav其实提供了selected_vars参数，允许你指定只读取文件中需要的变量，避免一次性加载整个文件的内容。如果你的大文件里包含很多无关变量，这个方法能立刻大幅降低内存占用。

示例代码：

from scipy.io import readsav

# 仅读取文件中的'large_array'和'metadata'两个目标变量
data = readsav(
    'data.sav',
    python_dict=True,
    verbose=True,
    selected_vars=['large_array', 'metadata']
)

2. 用Astropy分块读取单个大变量 #

如果问题是单个变量本身就超过内存容量，Scipy的readsav就无能为力了。这时候可以用Astropy库的IDLFile类，它可以打开.sav文件并按需读取变量的切片，不需要一次性加载全部数据。

首先安装Astropy：

pip install astropy

示例代码：

from astropy.io.idl import IDLFile

def process_chunk(chunk):
    # 这里写你的数据处理逻辑，比如计算统计量、写入文件等
    print(f"处理了一个大小为{chunk.shape}的数据块")

# 打开文件，此时不会加载任何数据到内存
with IDLFile('data.sav') as idl_file:
    # 查看文件中所有变量名
    print("文件中的变量:", list(idl_file.keys()))
    
    # 获取目标变量的元信息（形状、数据类型），不加载数据
    large_var = idl_file['large_array']
    print(f"目标变量形状: {large_var.shape}, 数据类型: {large_var.dtype}")
    
    # 分块读取，比如每次读取1000行
    chunk_size = 1000
    for start_idx in range(0, large_var.shape[0], chunk_size):
        end_idx = min(start_idx + chunk_size, large_var.shape[0])
        # 读取切片数据，此时才会加载对应块到内存
        chunk = large_var[start_idx:end_idx]
        process_chunk(chunk)

3. 用IDL预处理拆分文件（如果有IDL环境） #

如果你能访问IDL运行环境，最稳妥的方法是先在IDL里把大文件拆分，或者导出为支持分块读取的格式（比如HDF5），再到Python中处理。

拆分大数组为多个小.sav文件（IDL代码） #

; IDL代码：加载大文件
RESTORE, 'data.sav'

; 将large_array拆分为10个小块分别保存
chunk_count = 10
chunk_size = N_ELEMENTS(large_array) / chunk_count
FOR i=0, chunk_count-1 DO BEGIN
    start_pos = i * chunk_size
    end_pos = (i+1)*chunk_size - 1
    ; 处理最后一个块的边界
    IF i EQ chunk_count-1 THEN end_pos = N_ELEMENTS(large_array)-1
    chunk_data = large_array[start_pos:end_pos]
    SAVE, chunk_data, FILE_NAME='data_chunk_'+STRTRIM(i,2)+'.sav'
ENDFOR

之后在Python里逐个读取这些小文件即可。

导出为HDF5格式（IDL代码） #

如果IDL安装了HDF5库，可以直接导出为支持分块读取的HDF5：

; IDL代码：创建HDF5文件并写入分块数据
hdf5_create, 'data.h5'
; 设置分块大小，这里以1000行为一个块
hdf5_write, 'data.h5', '/large_array', large_array, CHUNKSIZE=[1000, -1]
hdf5_close, 'data.h5'

然后在Python中用h5py分块读取：

import h5py

def process_chunk(chunk):
    # 数据处理逻辑
    print(f"处理块大小: {chunk.shape}")

with h5py.File('data.h5', 'r') as h5_file:
    large_array = h5_file['large_array']
    chunk_size = 1000
    for start_idx in range(0, large_array.shape[0], chunk_size):
        end_idx = min(start_idx + chunk_size, large_array.shape[0])
        chunk = large_array[start_idx:end_idx, :]
        process_chunk(chunk)

4. 二进制内存映射（进阶方案） #

如果以上方法都不适用，你可以尝试解析IDL .sav文件的二进制结构，用numpy.memmap直接映射文件的对应数据区域。不过这个方法需要熟悉IDL .sav的格式规范，实现起来比较复杂，一般作为最后的备选方案。

内容的提问来源于stack exchange，提问作者freja