如何在异步系统中追踪请求及批量任务的完成状态？

针对你描述的异步服务间批量任务追踪场景，确实有不少成熟的开源方案可以替代自定义数据库追踪表的实现，这些方案大多内置了任务状态管理、失败重试、批量任务编排等能力，不用自己重复造轮子：

• Temporal
  这是专门为分布式系统设计的工作流引擎，非常适配你的场景：

  • Service 1 可以创建一个包含多实例活动的工作流，每个活动对应一个条目的操作请求（调用Service 2）；
  • Temporal会自动持久化每个任务的状态（待处理、成功、失败），无需自己维护追踪表；
  • 当所有条目任务完成后，工作流可以自动触发你需要的特定动作（比如Service 1的后续业务逻辑）；
  • 内置了任务重试、超时处理、故障恢复机制，能解决异步通信中常见的响应丢失、服务异常等问题。

• Apache Airflow
  虽然最初是为ETL场景设计，但也能很好地处理分布式批量任务编排：

  • 你可以定义一个DAG（有向无环图），每个任务节点对应一个条目的操作请求；
  • 设置任务的并行执行规则，Airflow会自动追踪所有节点的完成状态；
  • 配置一个收尾任务，依赖所有条目任务的成功状态，当全部完成后自动执行；
  • 自带Web UI，能直观查看每个任务的执行状态、日志，方便排查问题。

• Camunda
  基于BPMN标准的工作流引擎，适合需要可视化业务流程的场景：

  • 通过BPMN建模工具创建包含多实例任务的流程，每个实例对应一个条目的操作；
  • Camunda会自动管理每个任务的生命周期，追踪完成情况；
  • 流程支持设置“所有任务完成后触发后续动作”的规则，无需手动判断；
  • 提供完善的监控、告警和任务重试机制，能应对复杂的异常场景。

同行场景参考 #

很多分布式系统都遇到过类似的批量异步任务追踪需求：

• 电商系统中批量订单的状态同步（调用第三方物流接口后追踪所有订单的同步结果，完成后更新本地库存）；
• 云服务中的批量资源创建（比如批量创建虚拟机，追踪每个实例的创建状态，全部完成后通知用户）；
• 数据平台的批量数据处理（调用多个计算节点处理分片数据，所有分片完成后合并结果）。

这些场景下，大部分团队都会选择用上述开源工作流引擎替代自定义追踪表，因为能节省大量处理边界情况的开发成本，系统稳定性也更高。

内容的提问来源于stack exchange，提问作者Kshitij Kohli