如何沿指定轴高效合并Python数组，加速numpy.append操作？

关于Python list append能否指定axis？ #

不行。Python内置list是一维容器，append()只是把元素（哪怕是多维数组）直接追加到列表末尾，它不理解numpy数组的"轴"概念，自然没法指定axis参数。你把多维数组append到list里，list只会把每个数组当作独立元素存储，不会自动合并维度。

更优的N维数组扩展方案 #

方案1：用list收集batch，最后一次性合并（最推荐） #

既然list的append快，那就先用它把所有batch数组存起来，最后用numpy的concatenate一次性沿指定轴合并：

# 初始化空列表存所有batch
batches = []
for ...:  # 你的嵌套循环逻辑
    batch_np = ...  # 生成单个batch的数组
    batches.append(batch_np)  # 这步是O(1)操作，几乎不耗时

# 最后一次性合并，axis=0对应你原来的扩展方向
images = np.concatenate(batches, axis=0)

这种方法只做一次内存分配和数据复制，相比循环里每次np.append的指数级耗时，效率提升几个数量级。如果是沿axis=0合并，也可以用np.vstack(batches)，效果和concatenate一致，写法更简洁。

方案2：预先分配数组，切片赋值（需要提前知道总大小） #

如果你能提前估算出最终数组的总尺寸（比如总样本数、特征维度等），可以直接创建一个空数组，然后用切片把每个batch赋值进去：

# 假设每个batch是(bs, height, width, channels)，总样本数是total_samples
total_samples = ...  # 提前计算好的总样本数
height, width, channels = batch_np.shape[1:]
# 预先分配空数组，指定数据类型和形状
images = np.empty((total_samples, height, width, channels), dtype=batch_np.dtype)

start_idx = 0
for ...:
    batch_np = ...
    batch_size = batch_np.shape[0]
    end_idx = start_idx + batch_size
    # 切片赋值，无额外内存复制
    images[start_idx:end_idx] = batch_np
    start_idx = end_idx

这种方法完全避免了多次数组复制，是效率最高的方式，但前提是你必须提前知道最终数组的完整shape。

方案3：针对Keras场景的专属优化 #

既然你是给Keras模型做训练数据集，其实可以不用手动拼接numpy数组，直接用tf.data.Dataset构建数据集：

• 从numpy数组列表创建：tf.data.Dataset.from_generator()或者tf.data.Dataset.from_tensor_slices()
• 配合预处理函数，实现异步加载、批量处理，甚至直接从文件（如TFRecord、图片文件夹）读取数据

这种方式不需要把所有数据都加载到内存，能自动处理batch生成，还支持多线程预处理，比手动拼接numpy数组更适合大规模数据集训练。

内容的提问来源于stack exchange，提问作者Sam Spencer