为何使用np.fromfile从管道读取会失败？

为什么NumPy需要获取文件位置？ #

numpy.fromfile的默认逻辑是先获取文件总大小，以此一次性分配刚好足够的内存空间读取整个文件，避免多次内存分配的开销，提升读取效率。而获取文件大小依赖于文件位置相关的系统调用（比如fseek和ftell），但标准输入(stdin)属于流式文件，它没有固定大小，也不支持随机访问操作，因此调用这些系统调用会失败，最终抛出OSError: obtaining file position failed错误。

规避问题的方法 #

方法1：读取全部字节后用frombuffer解析 #

先把标准输入的所有内容读取到内存字节串中，再用numpy.frombuffer解析成数组。frombuffer不需要获取文件位置，直接从字节数据解析，适合流式输入场景：

import sys
import numpy as np

input_data = sys.stdin.read()
arr = np.frombuffer(input_data, dtype=np.dtype('f32'))

方法2：分块读取（大文件友好） #

如果输入数据量极大，一次性读取会占用过多内存，可以采用分块读取的方式，逐块解析后再合并：

import sys
import numpy as np

# 每次读取4096字节（对应1024个f32元素，可根据需求调整）
chunk_size = 4096
arr_chunks = []

while True:
    chunk = sys.stdin.read(chunk_size)
    if not chunk:
        break
    # 确保块长度是4的倍数（f32每个元素占4字节）
    valid_length = len(chunk) - (len(chunk) % 4)
    if valid_length > 0:
        arr_chunks.append(np.frombuffer(chunk[:valid_length], dtype=np.dtype('f32')))

# 合并所有分块数组
arr = np.concatenate(arr_chunks)

注意：numpy.fromfile更适合处理普通磁盘文件（有固定大小、支持随机访问），流式输入场景下优先使用上述两种方法替代。

内容的提问来源于stack exchange，提问作者einpoklum