使用np.fromfile时如何自定义dtype实现两字节求和无需后处理

自定义dtype可行性结论 #

这个需求无法通过自定义NumPy dtype实现。
NumPy的dtype仅用于定义二进制数据到内存值的静态映射规则，仅支持固定格式的解析（比如不同字节序的基础类型、复合字段类型等），没有提供在解析阶段嵌入自定义计算逻辑的接口，因此无法直接在读取二进制的同时完成两个字节的求和运算。

大批量数据最高效处理方案 #

直接使用NumPy原生向量运算即可，全程没有Python层面循环，性能和理想中的自定义dtype读取几乎无差异，步骤如下：

1. 用np.uint8作为dtype读取二进制内容，得到一维字节数组，若只需读取部分数据，可通过count参数指定读取目标元素数*2个字节，减少不必要的IO开销
2. 将数组重组成n行2列的二维结构，按行求和得到最终结果

示例代码 #

import numpy as np

# 实际使用时替换为 np.fromfile("你的文件路径", dtype=np.uint8, count=需要的元素数*2)
raw_bytes = np.array([0x01, 0x02, 0x03, 0x04], dtype=np.uint8)
# 重排后按行求和，示例中count=2即取前2组数据
result = raw_bytes.reshape(-1, 2)[:2].sum(axis=1)

运行上述代码得到的result就是你需要的array([3, 7])。
如果你的数据量超过内存容量，可以分块读取：每次读取固定大小的字节块（比如每次读取2 * 1024 * 1024个字节，对应1M个结果元素），处理完当前块再读取下一块即可，内存占用可以控制在很低的水平。

内容的提问来源于stack exchange，提问作者somer somer