如何用Python将文件内容解析为多组Protobuf消息列表？

核心思路是定义一个包含目标字段的顶层Protobuf消息类型，让text_format.Parse一次性解析整个文件内容，再从顶层消息中提取所需的两个列表，避免手动拆分文本的繁琐操作。

步骤1：定义Protobuf协议文件 #

首先创建一个.proto文件（比如your_data.proto），包含所有需要的消息类型和顶层容器：

syntax = "proto3";

// 对应原文件中的description结构
message Description {
  string type = 1;
}

// Msg内部的text结构
message Text {
  string message = 1;
  string caller = 2;
}

// Msg内部的timestamp结构
message Timestamp {
  int64 time = 1;
}

// 对应原文件中的msg结构
message Msg {
  Text text = 1;
  Timestamp timestamp = 2;
}

// 顶层容器，包含一个description和多个msg
message RootContainer {
  Description description = 1;
  repeated Msg msg = 2;
}

使用protoc编译成Python代码：

protoc --python_out=. your_data.proto

步骤2：Python代码实现解析 #

直接读取整个文件内容，用text_format.Parse解析到顶层消息实例，再提取所需列表：

from google.protobuf import text_format
from your_data_pb2 import RootContainer  # 替换为编译生成的模块名

def parse_proto_file(file_path):
    # 读取整个文件内容
    with open(file_path, 'r', encoding='utf-8') as f:
        content = f.read()
    
    # 解析到顶层容器
    root = RootContainer()
    text_format.Parse(content, root)
    
    # 提取目标列表
    list1 = [root.description]  # 单个description包装成列表
    list2 = list(root.msg)       # repeated字段直接转为Python列表
    
    return list1, list2

# 使用示例
desc_list, msg_list = parse_proto_file("your_input.txt")

# 验证输出
print("List1 (Description):")
for desc in desc_list:
    print(f"Type: {desc.type}")

print("\nList2 (Messages):")
for i, msg in enumerate(msg_list):
    print(f"Msg {i+1}:")
    print(f"  Message: {msg.text.message}, Caller: {msg.text.caller}")
    print(f"  Timestamp: {msg.timestamp.time}")

方案优势 #

1. 无需手动拆分文本：利用Protobuf自身的语法解析能力，自动识别消息边界，避免手动处理换行、括号匹配等容易出错的逻辑。
2. 代码简洁高效：一次性解析整个文件，比逐行/逐段解析的效率更高，维护成本更低。
3. 兼容性强：如果后续文件结构变化（比如新增更多msg或description字段），只需修改顶层消息的字段定义即可，无需调整解析逻辑。

备选方案（无法修改proto时） #

如果无法新增顶层消息类型，只能手动拆分文件内容：

• 按消息起始标记（description {、msg {）分割文本块
• 对每个文本块单独调用text_format.Parse

但这种方法需要处理复杂的括号匹配（比如消息内部嵌套结构），容易出错，仅作为特殊场景下的妥协方案，不推荐。

内容的提问来源于stack exchange，提问作者Ames ISU