如何优雅预分配NumPy数组以避免重复的文件处理代码？

这种重复写文件处理逻辑的情况我太懂了，每次复制粘贴完都觉得代码又臭又长，而且后期改逻辑的时候还要改两处，特别容易出错。其实解决思路很简单——把重复的文件读取逻辑封装成独立函数，这样不管是读第一个文件还是后续的，都调用同一个函数就行。

下面给你两种实用的方案，根据你的内存情况选就行：

方案一：封装函数+预分配数组（内存友好型） #

先把读取单个时间步文件的逻辑写成一个函数，这样核心处理代码只需要写一次：

import numpy as np
import glob

def read_timestep_file(filename):
    # 这里替换成你实际的文件处理逻辑
    # 比如读取CSV、解析格式、转换成(Npoints, 3)的数组
    data = np.loadtxt(filename, delimiter=',')
    return data

然后主逻辑就变得非常清晰，完全没有重复代码：

# 先拿到所有时间步文件，建议排序保证顺序正确
tsteps = sorted(glob.glob('time*.csv'))
Nsteps = len(tsteps)

# 读取第一个文件，获取数组的形状信息
first_data = read_timestep_file(tsteps[0])
Npoints, n_components = first_data.shape

# 预分配最终的数组
dataset = np.zeros((Npoints, n_components, Nsteps))
dataset[:, :, 0] = first_data

# 循环处理剩下的文件
for idx, filename in enumerate(tsteps[1:], start=1):
    dataset[:, :, idx] = read_timestep_file(filename)

这种方法的优势是内存效率高，因为我们提前分配好了固定大小的数组，不会额外占用多余内存，适合处理大型数据集。

方案二：先收集数据再合并（代码极简型） #

如果你的数据集内存压力不大，还可以更偷懒一点——先把所有文件的数据读到列表里，最后再一次性合并成3D数组：

tsteps = sorted(glob.glob('time*.csv'))
# 用列表推导式读取所有文件
data_list = [read_timestep_file(f) for f in tsteps]
# 沿第2轴堆叠所有数组，得到(Npoints, 3, Nsteps)的结果
dataset = np.stack(data_list, axis=2)

这种写法代码更短，但要注意：列表里会暂时存储所有单独的二维数组，内存占用会比预分配的方式高一些，所以大数据集还是优先选方案一。

不管选哪种，核心都是避免重复代码——把重复的逻辑封装成函数，不仅让代码更优雅，后期维护也方便得多，比如要修改文件解析规则，只需要改read_timestep_file这一个地方就行。

备注：内容来源于stack exchange，提问作者ffdoctor