Python Socket接收Java端变长Protobuf字节数组的阻塞解决方法

首先说你倾向的分隔符方案，我给你梳理下具体的实现思路和注意事项：

一、分隔符的选择 #

因为Protobuf是二进制序列化格式，普通ASCII字符（比如换行符\n）有可能出现在序列化后的字节中（比如业务字段里包含了这类字符），所以得选Protobuf字节流中绝对不会出现的控制字符：

• 推荐用0x04（ASCII的EOT，传输结束符），这个字符在Protobuf的标准编码逻辑里不会出现——Protobuf的字段编码基于Varint或固定长度，完全不会用到这个控制字符；
• 也可以选0x1C（文件分隔符），同样属于非打印控制字符，几乎不会出现在正常的Protobuf序列化结果里。

二、Python端的实现代码 #

修改你原来的接收逻辑，每次接收后检查是否包含分隔符，找到就截断出完整的数据包，剩下的字节留到下一次处理（避免一次recv同时收到分隔符和下一个包的开头）：

import logging

logger = logging.getLogger(__name__)
# 定义分隔符，这里用EOT字符
DELIMITER = b'\x04'

def handle_connection(connection):
    byte_buffer = bytearray()
    while True:
        data = connection.recv(64)
        if not data:
            # 连接被客户端主动关闭
            logger.debug("Connection closed by client.")
            break
        
        byte_buffer.extend(data)
        # 循环检查缓冲区里的分隔符（可能一次收到多个完整包）
        delim_index = byte_buffer.find(DELIMITER)
        while delim_index != -1:
            # 提取完整的Protobuf字节数组（去掉分隔符）
            full_data = byte_buffer[:delim_index]
            # 更新缓冲区，保留分隔符之后的字节（可能是下一个包的开头）
            byte_buffer = byte_buffer[delim_index + len(DELIMITER):]
            
            # 处理完整的数据包并返回响应
            logger.info("Received complete Protobuf data, length: %d", len(full_data))
            response = generate_response(full_data)
            connection.send(response)
            logger.info("Sent response.")
            
            # 再次检查缓冲区是否还有分隔符
            delim_index = byte_buffer.find(DELIMITER)
    
    connection.close()

对应的Java端需要在发送完Protobuf的字节数组后，额外发送这个分隔符字节，示例代码：

// 假设protoBytes是Protobuf序列化后的字节数组
OutputStream out = socket.getOutputStream();
out.write(protoBytes);
out.write(0x04); // 发送分隔符
out.flush();

三、另外两种方案的补充说明 #

虽然你倾向分隔符方案，但还是给你提下另外两种方案的优劣：

• 方案2：先发长度（更推荐）：这是二进制协议的标准做法，比分隔符更可靠。Java端先把Protobuf字节数组的长度用Varint编码（和Protobuf的字段长度编码逻辑一致）发送，再发实际数据；Python端先接收并解析出长度，再循环接收对应长度的字节。这种方式完全避免了分隔符冲突的问题，适合复杂的二进制场景。
• 方案3：超时方案：最不推荐，因为网络波动、延迟都可能导致误判，把未传输完成的数据当成完整数据，容错性极差。

内容的提问来源于stack exchange，提问作者josealeixo.pc