如何从长度未知的二进制文件创建6列2D NumPy数组？

直接利用NumPy的二进制解析能力就能解决这个问题，核心是按固定数据结构解析后重塑数组，无需提前知晓行数：

基础方案（一次性加载） #

如果文件大小在内存可承受范围内，用以下代码：

import numpy as np

# 读取二进制文件全部字节
with open("your_sample.bin", "rb") as f:
    raw_data = f.read()

# 将字节解析为int32类型的一维数组
int_array = np.frombuffer(raw_data, dtype=np.int32)

# 自动重塑为6列的二维数组，行数由总元素数除以6自动计算
final_array = int_array.reshape(-1, 6)

大文件优化方案（内存映射） #

如果文件过大（比如你提到的2秒采样数据），用内存映射避免占满内存：

import numpy as np

# 内存映射文件，仅在需要时读取数据
mmap_array = np.memmap("your_sample.bin", dtype=np.int32, mode='r')

# 同样重塑为6列二维数组
final_array = mmap_array.reshape(-1, 6)

# 使用完毕后释放内存映射资源
del mmap_array

关键注意事项 #

• 类型匹配：np.int32完全对应C语言的c_int32，确保解析数据类型正确
• 字节序校验：如果生成二进制文件的设备字节序和当前机器不同，需指定字节序，比如小端用np.dtype('<i4')，大端用np.dtype('>i4')替换np.int32
• 完整性检查：可以用int_array.size % 6验证总元素数是否为6的倍数，若有余数说明文件可能损坏或格式不符

内容的提问来源于stack exchange，提问作者Turbobonden