Hangfire延迟作业偶发重复调度问题：原因排查与解决方案咨询

• 使用Hangfire（Hangfire.Core 1.7.32）调度延迟作业，根据官方文档，延迟作业应仅执行一次
• 作业调度通过Web应用完成，业务流程：订单分配给配送员后，若4小时内未接单，订单分配失效
• 订单分配失效逻辑由Hangfire实现

偶发（非必现）出现同一延迟作业在极短时间内被多次排队的情况，且仅在服务器环境（开发、测试、UAT）出现，本地环境无此问题。需解答：

1. 为何本地环境不会出现该问题？
2. 服务器环境下作业重复生成的原因是什么？
3. 如何解决该问题？

public async Task AssignOrder(int ordeid, int agentId)
{
    // 订单分配及相关操作逻辑
    // 之后调用下方的Schedule方法，调度订单过期逻辑
}

public string Schedule(Expression<Action> methodCall, DateTimeOffset enqueAt)
{
    return BackgroundJob.Schedule(methodCall, enqueAt);
}

1. 本地环境无此问题的原因 #

本地环境通常是单实例运行，请求量极低，不会出现并发触发AssignOrder方法的场景；同时本地没有负载均衡、反向代理这类可能引发重复请求的组件，也不会因网络波动、超时重试导致方法被多次调用，因此不会触发重复调度作业的情况。

2. 服务器环境作业重复生成的原因 #

• 并发请求触发：服务器环境下可能存在同一订单的AssignOrder方法被多次并发调用（比如前端重复提交、API网关重试、负载均衡节点重复转发请求），每次调用都会独立调度一次延迟作业。
• Hangfire存储竞态条件：1.7.x版本的Hangfire在高并发场景下，若使用的存储（如SQL Server）未配置合适的隔离级别，调度作业时可能出现竞态条件，导致同一逻辑的作业被多次写入存储。
• 上游组件超时重试：Web应用的上游组件（如Nginx、API网关）在未收到及时响应时，会自动重试请求，导致AssignOrder被重复执行，进而重复调度作业。

3. 解决方法 #

• 业务层幂等控制：在AssignOrder方法中增加幂等校验，比如先查询订单当前状态，若已分配过则直接返回；或者用订单ID作为唯一标识，调度前检查是否已有相同作业存在：

  public async Task AssignOrder(int orderId, int agentId)
  {
      // 校验订单状态，避免重复分配
      var order = await _orderRepository.GetById(orderId);
      if (order.Status == OrderStatus.Assigned)
          return;
  
      // 执行订单分配逻辑
      order.AssignToAgent(agentId);
      await _orderRepository.Update(order);
  
      // 生成唯一作业ID
      var uniqueJobId = $"OrderExpire_{orderId}";
      // 检查作业是否已存在，不存在才调度
      if (!BackgroundJob.Exists(uniqueJobId))
      {
          var enqueAt = DateTimeOffset.UtcNow.AddHours(4);
          BackgroundJob.Schedule(
              () => ExpireOrder(orderId), 
              enqueAt, 
              new BackgroundJobOptions { JobId = uniqueJobId }
          );
      }
  }
  

• 优化Hangfire存储配置：针对SQL Server存储，配置Serializable隔离级别，避免调度时的竞态条件；或升级Hangfire到较新的稳定版本，新版本对存储一致性有针对性优化。
• 上游组件去重：配置反向代理、API网关的重试策略，避免重复转发相同请求；前端增加防重复提交逻辑（如按钮置灰、请求防抖）。

内容的提问来源于stack exchange，提问作者Dreamer