如何在不影响运行中任务的前提下清理Hangfire SQL数据库冗余数据

Hangfire 冗余数据堆积问题解决方案 #

核心原因 #

Hangfire 自带的过期数据清理机制仅会处理自身核心业务表的记录，Hangfire Console 作为第三方扩展，生成的console:前缀的 Set、Hash 表数据默认不纳入 Hangfire 自动清理范围，且 Hangfire Console 默认配置为永久保留控制台日志，这是数据堆积的核心诱因，并非你遗漏了基础配置。

1. 配置优化（从根源避免后续数据堆积） #

显式配置 Hangfire 核心清理规则和 Hangfire Console 日志保留时间即可实现自动清理，参考 C# 配置代码：

GlobalConfiguration.Configuration
    .UseSqlServerStorage("你的数据库连接字符串", new SqlServerStorageOptions
    {
        // 过期任务检查间隔，默认1小时，可按需调整
        JobExpirationCheckInterval = TimeSpan.FromHours(1),
        // 单次清理批次大小，避免锁表
        DeleteExpiredBatchSize = 1000
    })
    .UseHangfireConsole(options => 
    {
        // 关键配置：设置控制台日志保留时间，按需调整，示例为保留7天
        options.RetentionTime = TimeSpan.FromDays(7);
    });

2. 现有存量数据清理脚本优化 #

你当前使用的脚本采用LEFT JOIN + IS NULL匹配无效数据，百万级数据量下查询效率极低，优化后的脚本如下：

2.1 Set 表清理

DECLARE @total INT = 0
DECLARE @count INT = 1

-- 首次清理前建议先给Key字段加非聚集索引，可将清理速度提升数倍，只需执行一次
-- CREATE NONCLUSTERED INDEX IX_Set_Key ON [HangFire].[Set]([Key]) INCLUDE (Id)

WHILE(@count > 0)
BEGIN
    DELETE TOP (10000) s
    FROM [HangFire].[Set] s
    WHERE s.[Key] LIKE 'console:%'
    AND NOT EXISTS (SELECT 1 FROM [HangFire].[Job] j WHERE j.Id = SUBSTRING(s.[Key], 19, LEN(s.[Key]) - 19))
    
    SET @count = @@ROWCOUNT
    SET @total += @count
    RAISERROR('已清理Set表记录数：%d', 0, 1, @total) WITH NOWAIT
    -- 每次清理暂停1秒，避免占满数据库IO影响正常业务
    WAITFOR DELAY '00:00:01'
END

2.2 Hash 表清理

DECLARE @total INT = 0
DECLARE @count INT = 1

-- 首次清理前建议先给Key字段加非聚集索引，只需执行一次
-- CREATE NONCLUSTERED INDEX IX_Hash_Key ON [HangFire].[Hash]([Key])

WHILE(@count > 0)
BEGIN
    DELETE TOP (10000) h
    FROM [HangFire].[Hash] h
    WHERE h.[Key] LIKE 'console:%'
    AND NOT EXISTS (SELECT 1 FROM [HangFire].[Job] j WHERE j.Id = SUBSTRING(h.[Key], 19, LEN(h.[Key]) - 19))
    
    SET @count = @@ROWCOUNT
    SET @total += @count
    RAISERROR('已清理Hash表记录数：%d', 0, 1, @total) WITH NOWAIT
    WAITFOR DELAY '00:00:01'
END

3. 清理后维护建议 #

• 所有清理操作建议在业务低峰期执行，避免锁表影响正常任务调度
• 清理完成后可执行索引重建释放未被回收的磁盘空间：

ALTER INDEX ALL ON [HangFire].[Set] REBUILD
ALTER INDEX ALL ON [HangFire].[Hash] REBUILD

• 完成上述配置后，Hangfire Console 会自动按配置的保留时间清理过期日志，无需再手动执行清理脚本

内容的提问来源于stack exchange，提问作者Luiz Bicalho