Docker Swarm中Hangfire缩容后丢失定时任务的配置咨询

问题原因 #

Hangfire的定时任务（Recurring Jobs）依赖Server实例启动时加载存储中的任务定义，缩容后剩余实例默认不会主动触发重新扫描已下线节点的任务，导致任务调度中断，需重启实例才能重新加载。

解决方案 #

1. 优化Hangfire Server配置 #

调整AddHangfireServer的参数，加快节点状态同步和任务扫描频率：

services.AddHangfireServer(jobServerOptions =>
{                        
    jobServerOptions.Queues = QueueHelper.GetQueuesNames().ToArray();
    jobServerOptions.WorkerCount = backgroundJobConfig.GetValue<int?>("WorkerCount") ?? 2;
    // 缩短服务器超时时间，让剩余实例快速识别下线节点
    jobServerOptions.ServerTimeout = TimeSpan.FromMinutes(1);
    // 缩短心跳间隔，加快集群状态同步
    jobServerOptions.HeartbeatInterval = TimeSpan.FromSeconds(10);
    // 缩短定时任务轮询间隔，确保任务被及时调度
    jobServerOptions.SchedulePollingInterval = TimeSpan.FromSeconds(15);
});

2. 全局自动注册定时任务 #

确保定时任务在每个实例启动时自动注册，避免依赖单个实例的生命周期。在应用启动逻辑中添加注册代码：

// 在Program.cs中，主机构建完成后注册
using (var scope = app.Services.CreateScope())
{
    var recurringJobManager = scope.ServiceProvider.GetRequiredService<IRecurringJobManager>();
    // 使用AddOrUpdate确保每次启动都检查并更新任务定义
    recurringJobManager.AddOrUpdate<YourJobHandler>(
        "daily-data-sync",
        job => job.ExecuteSync(),
        Cron.Daily, // 替换为你的调度表达式
        timeZone: TimeZoneInfo.Local
    );
}

3. 配置Docker实例优雅关闭 #

在ASP.NET主机中添加优雅关闭逻辑，确保实例下线时正确通知Hangfire，避免任务状态异常：

var host = Host.CreateDefaultBuilder(args)
    .ConfigureServices(services =>
    {
        // ... 其他服务配置
        services.AddHangfireServer(...);
    })
    .Build();

// 注册停止事件，优雅关闭Hangfire Server
host.Services.GetRequiredService<IHostApplicationLifetime>().ApplicationStopping.Register(() =>
{
    var jobServer = host.Services.GetRequiredService<IBackgroundJobServer>();
    jobServer.SendStop();
    // 等待任务完成或超时
    jobServer.WaitForShutdown(TimeSpan.FromMinutes(1));
});

await host.RunAsync();

关键说明 #

• 必须使用持久化存储（如SQL Server、Redis）存储Hangfire数据，内存存储会导致缩容时直接丢失任务。
• 上述配置让剩余实例在缩容后更快接管任务调度，无需手动重启。

内容的提问来源于stack exchange，提问作者Mohammed abdurrahman