Firestore模拟器多导出包合并：如何解码XXX.overall_export_metadata？

背景 #

我已经能通过单个导出包启动Firestore模拟器，命令如下：

firebase emulators:start --import='pathToSingleExportOperation'

但Firestore仅支持全量数据库导出，或最多选择60个集合组的白名单导出。由于部分集合包含数百万条记录，无法直接模拟全量库，必须排除这些大集合。但Firestore不支持黑名单导出，只能将需要的集合分批次按60个一组导出，再合并这些导出包用于模拟器启动。

合并导出包的计划流程 #

我计划通过以下步骤合并多份导出包：

• 解码每个导出包的元数据文件
• 创建新目录，将所有导出包的数据文件整合进去
• 修改元数据中的文件映射，统一指向合并后的文件结构
• 重新编码元数据文件
• 启动模拟器加载合并后的导出包

当前遇到的问题：protoc解码.overall_export_metadata失败 #

执行命令protoc --decode_raw < XXX.overall_export_metadata时，出现错误提示Failed to parse input.，而这个文件是控制模拟器导入内容的核心元数据文件。

解决protoc解码失败的方法 #

Firestore的.overall_export_metadata文件是用特定Protobuf schema编码的，不能直接用--decode_raw解码，必须使用官方定义的Protobuf消息类型来解析：

步骤1：获取Firestore的Protobuf定义文件 #

从Firestore官方开源代码中获取google/firestore/v1/export.proto及相关依赖的proto文件（比如google/api/annotations.proto、google/protobuf/timestamp.proto等），将这些文件放在同一个目录下（比如./proto_defs）。

步骤2：编译proto文件 #

执行以下命令编译proto文件（以生成Python代码为例）：

protoc --proto_path=./proto_defs google/firestore/v1/export.proto --python_out=.

步骤3：正确解码元数据文件 #

使用对应的Protobuf消息类型google.firestore.v1.ExportDocumentsResponse来解码，命令如下：

protoc --decode=google.firestore.v1.ExportDocumentsResponse google/firestore/v1/export.proto < XXX.overall_export_metadata

可选：用Python脚本解码（更灵活） #

如果需要后续修改元数据，用脚本处理更方便：

import google.protobuf.json_format as json_format
from google.firestore.v1 import export_pb2

# 读取并解码元数据文件
with open("XXX.overall_export_metadata", "rb") as f:
    export_response = export_pb2.ExportDocumentsResponse()
    export_response.ParseFromString(f.read())

# 输出为JSON格式便于查看和修改
print(json_format.MessageToJson(export_response))

合并元数据的注意事项 #

• 所有导出包的*.export_metadata和对应的集合数据文件（比如all_namespaces/...下的文件）要放在合并后的目录中，路径要统一
• 修改解码后的ExportDocumentsResponse对象，将多个导出包的documents列表合并，确保output_uri_prefix指向合并后的目录位置
• 修改完成后，重新编码为二进制元数据文件：

with open("merged.overall_export_metadata", "wb") as f:
    f.write(export_response.SerializeToString())

最后启动模拟器时，指定合并后的目录即可：

firebase emulators:start --import='pathToMergedExport'

内容的提问来源于stack exchange，提问作者Diego Franco