Golang与Protobuffers：序列化结构体的读写标准方法探讨

当然有公认的标准方法，完全不用自己折腾自定义分隔符这种不靠谱的路子。

官方推荐：长度前缀法 #

这是彻底避免分隔符冲突的最优解，也是Protobuf官方钦定的多消息存储方案：

• 写入时：先把序列化后的消息字节长度用Varint编码（Protobuf原生支持的变长整数格式）写入文件，紧接着再写消息的二进制内容
• 读取时：先读前缀的长度值，再精准读取对应字节数的内容，就能准确拆分每一条消息

给你写个简单的逻辑示例：

写入逻辑 #

def write_msg_to_file(file, msg):
    serialized = msg.SerializeToString()
    # 用Varint编码长度
    length_bytes = encode_varint(len(serialized))
    file.write(length_bytes)
    file.write(serialized)

读取逻辑 #

def read_msg_from_file(file):
    while True:
        try:
            # 读取Varint编码的长度
            length = decode_varint(file)
            serialized = file.read(length)
            msg = MsgType.FromString(serialized)
            yield msg
        except EOFError:
            break

关于你遇到的换行问题 #

你看到文件里有换行是正常的——Protobuf序列化出来的是二进制字节流，里面完全可能包含ASCII换行符（0x0A），这和你看到的单行调试日志不是一回事，调试信息是文本格式才会保证单行，二进制内容本来就没这个约束。

省事儿的现成工具 #

很多Protobuf官方SDK已经封装好了这套逻辑，不用自己实现Varint编解码：

• Java里用MessageLite.writeDelimitedTo()和parseDelimitedFrom()
• Python里用google.protobuf.io.CodedInputStream/CodedOutputStream类
• Go里可以用proto.Marshal配合binary.PutVarint来处理

如果你的状态只是单个大消息，甚至不用分隔——直接把整个序列化内容写入文件，读取时一次性读完整内容反序列化就行。

内容的提问来源于stack exchange，提问作者DistortedASD