Azure Durable Function：单数据层ID仅运行一个编排并处理待处理输入层

我们的数据层由多个输入层创建和更新。目前使用函数搭配Service Bus会话来确保同一时间仅一个工作进程更新数据层，即便队列中有多个需聚合的输入层。但聚合函数是多步骤的长运行任务，因此希望改用Durable Orchestration。现在需要确认：能否确保单个Data Layer ID仅对应一个运行中的编排，同时让该编排处理所有待处理的Input Layers？

我曾尝试使用InstanceId，但调用已运行实例ID的StartNew会报错（原本期望能实现排队效果）。我考虑过几种方案：

• 创建循环等待外部事件的永久编排（eternal orchestrators），因为外部事件会自动排队，但每个Data Layer ID都要对应一个这类编排，数量会非常多。
• 继续使用Service Bus会话，由函数调用编排并监控进度，但这样会让一个长运行函数处于空闲状态（理论上仅执行轻量睡眠/检查循环），不确定对运行时的影响。
• 研究过用Durable Entities触发编排，但认为无法在Durable Entity方法内可靠阻塞等待编排完成，且这可能超出它的预期用途，因为我们仅需要用它做协调而非存储状态。

方案1：实例状态查询+外部事件组合 #

这是最直接适配你需求的方案：

1. 绑定固定InstanceId：将Data Layer ID作为编排的InstanceId，确保每个Data Layer对应唯一的编排实例。
2. 触发前检查实例状态：在尝试启动编排前，通过GetStatusAsync查询该InstanceId对应的实例状态：
   • 若实例不存在或已完成，直接调用StartNewAsync启动新编排，传入初始的Input Layer数据。
   • 若实例正在运行，调用RaiseEventAsync向该实例发送外部事件，把待处理的Input Layer数据传递过去。
3. 编排内部循环处理事件：编排启动后，先处理初始的Input Layer，然后进入循环等待外部事件；每次收到事件就处理对应的Input Layer，可设置超时逻辑（比如15分钟没收到新事件就自动终止），避免无意义的永久运行。

这种方式既保证了单个Data Layer仅存在一个运行中的编排，又能让所有待处理的Input Layer都被同一个编排承接，还不会产生大量闲置的永久编排，资源利用率更高。

方案2：Durable Entities轻量协调 #

不用在Entity内阻塞等待，仅用它做调度控制：

1. 每个Data Layer对应一个Entity（用Data Layer ID作为Entity ID），Entity仅维护两个状态：当前是否有运行中的编排、待处理的Input Layer队列（可选）。
2. 当新的Input Layer到来时：
   • 若没有运行中的编排，启动对应InstanceId的编排，并标记“运行中”。
   • 若已有运行中的编排，直接给该编排发送外部事件传递数据，或者把数据加入Entity的待处理队列。
3. 编排完成后，向Entity发送完成事件，Entity清除“运行中”标记，若队列还有待处理数据，立即启动新的编排处理。

这种方式完全利用了Durable Entities的协调能力，不需要存储业务状态，只是做简单的调度判断，完全符合其设计用途。

方案3：Service Bus会话+编排的优化组合 #

如果想保留Service Bus会话的消息分组能力，可以调整逻辑避免长运行函数空闲：

• 用Service Bus会话接收消息，每个会话对应一个Data Layer ID。
• 会话触发的函数无需持续监控，仅做以下操作：检查对应编排的状态，运行中则发外部事件，未运行则启动编排，操作完成后函数直接结束。
• 编排负责处理所有聚合步骤，完成后无需回调函数，后续消息由会话函数重复上述逻辑即可。

这样既保留了Service Bus会话的优势，又避免了长运行函数占用资源的问题。

内容的提问来源于stack exchange，提问作者David Faivre