如何向PyArrow Plasma存储读写ndarray并解决reshape维度不匹配报错

你触发reshape错误的核心原因是np.frombuffer()调用时没有指定和输入frame匹配的dtype参数，默认会使用float64类型解析缓冲区，每个元素占8字节，而你的RGB帧通常是uint8类型（每个元素1字节），解析出来的元素数量只有实际需要的1/8，自然无法匹配目标shape。

另外你的写入逻辑存在冗余：你已经构造了PyArrow Tensor对象，不需要手动转numpy数组拷贝到缓冲区，可以直接用PyArrow的接口写入，避免dtype、shape不匹配的问题。

buffer_id = plasma.ObjectID.from_random()
tensor = pa.Tensor.from_numpy(frame)
data_size = pa.get_tensor_size(tensor)
# 创建Plasma缓冲区
buf = plasma_client.create(buffer_id, data_size)
# 直接用PyArrow接口写tensor到缓冲区，不需要手动处理numpy拷贝
stream = pa.FixedSizeBufferWriter(buf)
pa.write_tensor(tensor, stream)
# 封存对象
plasma_client.seal(buffer_id)

你的读取代码逻辑无需修改，读取出来的tensor转numpy后会自动保留原始的dtype和shape。

• 写入的frame如果是连续数组（默认OpenCV读取、视频解码出来的帧都是连续的）不需要额外处理，如果是非连续数组（比如切片后的帧），可以先调用frame = np.ascontiguousarray(frame)再构造Tensor，避免写入报错
• 写入前可以先打印frame.dtype和frame.shape确认参数符合预期，避免隐式类型转换带来的大小不匹配问题

内容的提问来源于stack exchange，提问作者Bamdad Dashtban