如何集中管理跨不同.Net Core、ASP-Net应用的长时运行作业？

整体架构选型思路 #

你的核心需求本质是需要一套轻量的分布式作业调度体系，而非单应用内的后台任务组件，整体可以沿用你现有中心数据库存储作业配置的设计，分调度层、执行层、管控层三层实现，不需要完全推翻现有架构重构。

针对核心诉求的落地实现方案 #

1. 分布式作业集中管控+并发执行实现 #

• 复用现有中心作业配置表，扩展3个核心字段：执行状态（待触发/执行中/成功/失败/已终止）、执行节点标识、最后心跳时间
• 调度层改为无状态常驻服务（可以用ASP.NET Core后台服务或者Windows服务实现），支持集群部署避免单点故障
• 并发执行逻辑：调度层每次拉取待执行作业时，通过数据库乐观锁（行级锁语法SELECT ... FOR UPDATE SKIP LOCKED）抢占作业，不同调度节点抢到的作业直接分配到独立线程池执行，无需等待前序作业完成，天然实现并发，不需要额外开发复杂的并发控制逻辑
• 任务管控能力：需要终止运行中任务时，直接修改中心表对应作业的状态为已终止，执行层的作业每执行一个关键步骤都会轮询一次中心表状态，收到终止信号后触发CancellationToken取消当前任务，同时把终止结果回写数据库
• 监控能力直接基于中心表的状态数据实现即可，也可以额外新增作业执行日志表，记录每个作业的耗时、异常栈、输出结果，快速做可视化监控面板

2. 替代30分钟拉取的触发方案 #

把原来30分钟拉取一次可执行程序的逻辑改为轮询+事件触发结合的模式：

• 常驻调度服务默认每10秒轮询一次中心作业配置表，仅拉取下次触发时间 <= 当前时间且状态为待触发的作业，轮询间隔可以根据你对触发时间的精度要求调整，最低可以到1秒级
• 如果有临时新增的作业，插入配置表的同时可以通过轻量的进程内通知（比如Redis Pub/Sub）推送给所有调度节点，触发立刻拉取作业，不需要等待轮询间隔
• 完全舍弃Windows定时任务方案，给常驻调度服务配置进程健康检查，异常退出后自动重启即可，稳定性远高于定时任务拉起独立可执行程序的模式

3. 跨程序集并发作业管理（替代Endpoint执行长时任务） #

• 优先把原本写在各个Web应用里的长时作业逻辑抽成独立的类库（程序集），和Web项目解耦
• 执行层新增程序集动态加载能力：在中心作业配置表扩展作业程序集路径、作业类名、作业参数三个字段，调度层抢到作业后，根据配置动态加载对应程序集，反射实例化作业类并调用执行方法即可
• 单作业管控：每个作业执行时都会绑定独立的CancellationTokenSource，和作业ID绑定存在调度服务本地缓存，收到终止指令时直接找到对应Token调用Cancel方法即可，不会影响其他作业的执行
• 如果暂时不想抽离作业逻辑，也可以保留Endpoint触发模式，但是把触发逻辑改为异步：调度层调用Endpoint仅做触发不等待执行结果，Endpoint收到请求后把作业扔到自身本地后台队列执行，立刻返回响应，执行状态通过回调接口上报到中心调度库即可，不会阻塞调度层的并发触发

现有组件适配方案（减少自研成本） #

如果不想全量自研调度逻辑，也可以基于Hangfire做二次改造适配你的需求：

• Hangfire本身支持分布式部署，所有调度节点共用同一个Hangfire数据库，天然支持作业并发执行、失败重试、手动终止、自带监控面板能力
• 你现有的中心作业配置表可以加个轻量同步逻辑，配置表有变更时自动调用Hangfire的API新增/修改/删除对应作业，不需要改动你现有的配置存储设计
• Hangfire本身就支持调用不同程序集内的方法，只要把对应的作业程序集部署到所有Hangfire执行节点即可，不需要额外开发动态加载逻辑

内容的提问来源于stack exchange，提问作者Flunschi