处理无法载入内存的超大二进制文件，计算axis=0的np.nanmean

首先纠正代码里的笔误：你描述的数组形状是(1000, 20000, 20000)，但代码里写的是(10000, 20000, 20000)，实际使用时要保持两者一致。

直接调用np.nanmean会尝试将整个数组加载到内存计算，导致内存溢出。解决思路是沿轴0分批次处理，累加非NaN值的总和与有效样本数，最后通过总和除以计数得到均值：

1. 初始化总和与计数数组
   先创建两个形状为(20000, 20000)的数组，分别存储非NaN值的累加总和、非NaN值的计数，用float64类型避免精度损失：

   import numpy as np
   
   file_path = "你的文件路径"
   # 以描述的形状为准，若实际是10000则修改第一个维度
   total_shape = (1000, 20000, 20000)
   dtype = np.float32
   
   # 初始化总和和计数数组
   sum_arr = np.zeros(total_shape[1:], dtype=np.float64)
   count_arr = np.zeros(total_shape[1:], dtype=np.int64)
   

2. 分批次读取并累加
   根据你的可用内存设置批次大小（比如每次处理10个轴0的切片，可按需调整），循环读取memmap的对应片段，计算当前批次的非NaN总和与计数，累加到全局数组：

   batch_size = 10  # 可根据内存情况调整，比如内存不足就改成5或2
   for i in range(0, total_shape[0], batch_size):
       # 计算当前批次的结束索引
       end_idx = min(i + batch_size, total_shape[0])
       # 读取当前批次的memmap片段
       batch = np.memmap(file_path, mode='r', shape=total_shape, dtype=dtype)[i:end_idx]
       # 计算当前批次的非NaN总和
       batch_sum = np.nansum(batch, axis=0)
       # 计算当前批次的非NaN计数
       batch_count = np.sum(~np.isnan(batch), axis=0)
       # 累加
       sum_arr += batch_sum
       count_arr += batch_count
   

3. 计算最终的nanmean
   用总和除以计数，同时处理计数为0的位置（避免除以0，设为NaN）：

   result = np.where(count_arr > 0, sum_arr / count_arr, np.nan)
   

注意事项 #

• 批次大小需根据可用内存调整：每个批次的内存占用为batch_size * 20000 * 20000 * 4字节（float32每个元素4字节），比如batch_size=10时，单批次占用约1.6GB，若内存不足则调小批次。
• 若需要保存结果，可使用np.save或memmap写入，避免内存溢出。

内容的提问来源于stack exchange，提问作者mark