GCP Firestore结合PubSub实现保序事务发件箱的方案咨询

核心问题回应 #

你所需要的顺序保障能力Firestore已原生提供，核心是你可能没有用到的服务器端时间戳特性，完全可以满足按事务实际提交顺序同步事件到Pub/Sub的需求。

具体实现方案 #

• 第一步：事务写入outbox文档时使用服务器端生成时间戳
  你之前担忧应用侧生成的时间戳无法反映事务实际提交顺序的判断完全正确，但Firestore提供了FieldValue.serverTimestamp()特殊字段值：你在事务写入outbox文档时，给每个文档新增commit_ts字段，值指定为FieldValue.serverTimestamp()即可。该值不会在客户端生成，而是由Firestore服务器在事务实际提交成功的那一刻，使用服务器全局统一时钟写入，完全可以代表事务的真实提交顺序。
• 第二步：按时间戳顺序拉取并推送事件
  不管你用polling-publisher模式还是Cloud Functions监听模式，都可以基于commit_ts字段排序保证顺序：
  • 若用轮询模式：每次轮询按commit_ts升序拉取未发布的outbox文档，按拉取顺序推送到Pub/Sub，推送成功后标记文档为已发布即可。如果需要严格保障Pub/Sub的投递顺序，可开启Pub/Sub有序消息特性，给同业务域的事件配置相同的排序键。
  • 若用Cloud Functions触发器：因为触发器触发顺序可能乱序，你可以额外维护一个单独的Firestore文档存储当前已成功推送的最大commit_ts水位，每次触发后仅处理commit_ts大于当前水位且按顺序排列的事件，更新水位后再标记outbox文档为已发布即可。
• 额外兼容场景：如果同一事务内需要写入多个outbox事件，可以给这些事件附加同一个事务ID标识，当commit_ts相同时，按业务侧约定的子顺序排序即可，不会出现顺序冲突。

注意事项 #

• 服务器端时间戳是完全原子写入的，事务未提交前不会生成该值，也不会出现在未提交的事务快照中，符合你事务提交后才处理事件的要求。
• 若出现推送失败重试的情况，仅需按顺序重新推送即可，配合Pub/Sub的至少一次投递特性，下游做好幂等处理就可以保障整体可靠性。

内容的提问来源于stack exchange，提问作者Vlad Tokarev