Firestore导出导入本地模拟器后指定大集合缺失的问题咨询

1. 输出分片的配置规则 #

• Firestore 导出的分片数量、大小由后端自动调度，默认单分片目标阈值约为1GB，当导出总数据量远低于该阈值时，只会生成单个output-*分片。你之前导出出现多个分片，是当时总导出数据量超过了1GB阈值，后端自动拆分；本次仅生成1个140MB的output文件，是正常调度结果，并非分片配置错误，也不是模拟器加载失败的直接诱因。

2. 导出任务中断的核心诱因 #

• 你看到的Failed to send a new message due to too many pending messagings in the back channel (10001)是Firestore导出后端的RPC通道流控报错：当导出流程处理大集合时，若短时间内生成的待传输消息量超过通道积压上限，会直接中断当前正在处理的集合的导出流程。
• 其余集合可正常导入使用，是因为导出任务中断前，这些小集合的完整数据及对应元数据已经写入导出包；而中断发生时正在处理的5万文档大集合，未完成全量数据写入，甚至未将该集合的条目写入导出包的总元数据（output.manifest）中。
• 本次修改集合字段后才出现该问题，大概率是新增的大体积字段（长文本、大数组、嵌套对象）拉高了单文档平均大小，导出大集合时的传输压力上升，触发了流控阈值。

3. 模拟器找不到集合的直接原因 #

• 本地Firebase模拟器导入导出包时，仅会读取output.manifest中登记的集合条目，若元数据文件未记录异常集合的路径，模拟器完全不会加载该集合的数据，自然会出现UI不可见、业务代码访问异常的问题；线上控制台可正常查看，是因为线上控制台直接访问生产Firestore数据库，不走导出导入流程。

• 先校验导出包完整性：用gsutil cat gs://xx.appspot.com/asdcx/output.manifest命令查看导出包元数据，搜索异常集合的根路径，若无匹配结果，即可确认是导出中断导致的集合丢失。
• 改用单集合单独导出：不要执行全库导出，单独针对异常集合执行导出命令：
  gcloud firestore export gs://xx.appspot.com/单独导出目录 --collection-ids=你的异常集合ID
  单独导出可避免多集合导出抢占后端通道资源，降低流控触发概率。
• 若单独导出仍触发流控报错，可选择后端低峰时段（如当地凌晨）重新执行导出，或拆分集合的导出范围（按文档创建时间分段导出），降低单批次导出的传输压力。
• 每次导出完成后，必须先确认output.manifest中已登记目标集合条目，再执行后续的gsutil cp下载及模拟器导入操作。

内容的提问来源于stack exchange，提问作者Christo S. Christov