React+Antd管理端上传CSV触发Firestore集合更新的效率及方案咨询

你当前的全量覆盖方案确实存在明显的效率缺陷，核心问题如下：

• Firestore读写成本浪费：无论每次CSV实际更新多少条数据，都要执行2万次左右的写入操作，会产生不必要的服务费用，且Firestore默认有每秒500次写入的限流阈值，2万条数据连续写入很容易触发限流报错，导致写入失败。
• 前端性能压力大：26MB的CSV文件在前端做解析、字段提取操作，在低配置的终端设备上很容易出现页面卡顿、无响应的问题。
• 数据一致性风险高：上传过程中如果出现网络中断、页面崩溃等异常情况，会出现部分数据写入成功、部分失败的脏数据问题。

• 优先用增量更新替代全量覆盖：给每条用户数据配置唯一标识（如用户ID、唯一工号等），每次上传CSV后，先拉取Firestore中已有数据的唯一标识集合做差集比对，仅对新增、修改、删除的记录做操作，无变化的数据直接跳过，通常可以减少90%以上的读写量。
• 把文件解析逻辑迁移到服务端：前端仅负责文件上传，将CSV文件直接传到云函数/自研后端服务，在服务端完成CSV解析、字段筛选、差集比对的操作，既规避前端性能问题，也避免前端逻辑被篡改导致的数据风险。
• 优化Firestore写入逻辑：使用Firestore的batch批量写入接口，每500条数据为一个批次写入，批次之间增加1s左右的间隔规避限流，同时增加事务回滚机制，一旦写入过程中出现异常，直接回滚该批次所有操作，避免产生脏数据。
• 增加前置校验和操作日志：上传前先校验CSV的表头格式、必填字段是否完整，避免无效数据入库；每次上传记录操作人、处理总条数、成功/失败条数、操作时间等日志，方便后续排查问题。
• 后续数据量增长到10万条以上时，可改用全量导入方案：将处理好的结构化数据先上传到云存储，再调用Firestore的官方批量导入工具直接从云存储导入数据，写入效率比逐行调用接口高3~5倍。

内容的提问来源于stack exchange，提问作者Min