如何高效将多组NumPy数组打包为.splat格式二进制文件？

你当前的逐行循环写法在处理500万行数据时效率极低——Python循环本身开销大，还频繁调用tobytes()和write()，累积了大量不必要的IO操作。完全可以通过直接拼接NumPy数组内存块的方式实现批量写入，彻底避开Python循环，效率能提升一个数量级以上。

核心思路 #

每个样本的结构是[a[i](3个float32), b[i](3个float32), c[i](4个uint8), d[i](4个uint8)]，单样本总字节数为：3*4 + 3*4 +4*1 +4*1 = 32字节。我们可以把所有数组按样本维度重新排列，拼接成一个连续的内存块，一次性写入文件。

基础高效实现代码 #

import numpy as np

# 假设a,b,c,d是已加载的目标NumPy数组
# 先将每个数组调整维度，方便按样本维度拼接
a_reshaped = a.reshape(-1, 1, 3)
b_reshaped = b.reshape(-1, 1, 3)
c_reshaped = c.reshape(-1, 1, 4)
d_reshaped = d.reshape(-1, 1, 4)

# 按样本顺序拼接数组，得到(N, 4, ...)的结构，再展平为连续内存块
combined = np.concatenate([a_reshaped, b_reshaped, c_reshaped, d_reshaped], axis=1)
flat_data = combined.reshape(-1)

# 一次性写入文件
with open(output_path, "wb") as f:
    f.write(flat_data.tobytes())

极致内存优化方案（跳过中间拼接） #

如果担心concatenate带来的临时内存开销，可以直接计算每个数组在最终二进制中的偏移，利用NumPy内存视图直接填充数据：

import numpy as np

sample_size = 32  # 单样本总字节数
total_bytes = N * sample_size
# 预分配总字节数的uint8缓冲区
buffer = np.zeros(total_bytes, dtype=np.uint8)

# 计算各数组对应的内存切片，直接填充数据
# a数组：每个元素占12字节，从0开始，步长32
a_slice = buffer[0::sample_size][:N*3].view(np.float32)
a_slice[:] = a.flatten()

# b数组：从12字节位置开始，步长32
b_slice = buffer[12::sample_size][:N*3].view(np.float32)
b_slice[:] = b.flatten()

# c数组：从24字节位置开始，步长32
c_slice = buffer[24::sample_size][:N*4].view(np.uint8)
c_slice[:] = c.flatten()

# d数组：从28字节位置开始，步长32
d_slice = buffer[28::sample_size][:N*4].view(np.uint8)
d_slice[:] = d.flatten()

# 写入文件
with open(output_path, "wb") as f:
    f.write(buffer.tobytes())

效率提升的关键原因 #

• 规避Python循环：所有操作都是NumPy底层C级别的批量处理，彻底消除Python循环的额外开销。
• 减少IO次数：从百万次write()调用变为1次批量写入，大幅降低IO操作的系统开销。
• 利用连续内存：NumPy数组本身是连续内存块，tobytes()直接导出整块内存，无需逐行转换。

内容的提问来源于stack exchange，提问作者Chien Poon