使用PyZMQ传输Numpy数组时UTF-8解码错误求助

看起来你遇到的核心问题是服务器端的recv_json尝试解析二进制numpy数组数据而非预期的JSON元数据，导致了UTF-8解码失败。下面是具体的问题分析和修复方案：

问题根源 #

这个错误说明消息帧的顺序被打乱了：服务器在调用recv_array时，本应接收客户端发送的JSON元数据，但实际拿到的是二进制数组（或之前残留的其他二进制消息），所以JSON解析器尝试将非UTF-8编码的字节解码时抛出了异常。

具体修复步骤 #

1. 修复服务器端recv_array的代码错误 #

你的服务器代码里np.buffer(msg)是错误用法，PyZMQ的recv返回的是bytes对象，直接传给numpy.frombuffer即可：

import numpy as np
import zmq

def recv_array(socket, flags=0, copy=True, track=False):
    """接收带元数据的numpy数组"""
    # 先接收JSON元数据
    md = socket.recv_json(flags=flags)
    # 再接收二进制数组数据
    msg = socket.recv(flags=flags, copy=copy, track=track)
    # 直接用bytes创建numpy数组，无需额外转换
    A = np.frombuffer(msg, dtype=md['dtype'])
    return A.reshape(md['shape'])

2. 确保消息收发的顺序匹配 #

检查你的服务器handle_image_processing函数的调用逻辑：如果服务器同时用同一个Socket接收frame和preds数组，很容易导致消息队列混乱。建议：

• 使用两个独立的Socket：一个专门传输frame数据，另一个专门传输preds数组，彻底避免消息顺序冲突。
• 如果必须用同一个Socket，确保在调用recv_array前，已经完整接收并处理了之前的frame消息，没有残留未处理的字节。

3. 验证客户端发送逻辑的完整性 #

客户端的send_array逻辑本身是正确的，但要确保dest_socket是正确的连接，且发送过程没有被打断：

def send_array(socket, A, flags=0, copy=True, track=False):
    """发送带元数据的numpy数组"""
    md = dict(
        dtype=str(A.dtype),
        shape=A.shape,
    )
    # 发送元数据，指定SNDMORE表示后续还有消息帧
    socket.send_json(md, flags | zmq.SNDMORE)
    # 发送二进制数组
    return socket.send(A, flags, copy=copy, track=track)

4. 排查消息残留问题 #

重启客户端和服务器，确保Socket连接是全新的（没有之前的残留消息）。测试时可以在客户端发送前打印元数据，服务器接收元数据后也打印，确认元数据正确传输。如果服务器接收的第一个消息不是JSON开头（比如{），说明消息顺序确实混乱了。

额外测试建议 #

如果还是有问题，可以在服务器recv_array的开头临时添加调试代码，查看接收到的内容：

def recv_array(socket, flags=0, copy=True, track=False):
    # 临时调试：打印接收的第一个消息的前20字节
    temp_msg = socket.recv(flags=flags)
    print(f"Received raw bytes: {temp_msg[:20]}")
    # 把消息放回去，重新处理
    socket.send(temp_msg, zmq.SNDMORE)
    # 正常逻辑
    md = socket.recv_json(flags=flags)
    # ... 剩余代码

内容的提问来源于stack exchange，提问作者gohar shah