如何创建多服务器运行的C# Windows服务 监听单目录避免文件重复处理
C# Windows服务多机部署防重复处理共享目录文件解决方案
核心逻辑
多节点互斥的核心是为每个待处理文件新增分布式互斥锁,只有成功获取锁的节点可以处理对应文件,现有单服务的业务处理逻辑无需大幅改造。
方案一:共享目录原生文件锁(轻量无额外依赖,优先推荐)
直接利用Windows共享目录的文件独占访问特性实现锁,不需要额外部署中间件,适配成本最低。
实现步骤:
- 监听到文件新增通知后,先等待1-3秒再操作,避免文件还处于上传写入阶段就触发锁定
- 尝试以独占读写模式打开目标文件,捕获异常判断锁是否被占用:
FileStream exclusiveStream = null; try { // FileShare.None 参数表示禁止其他进程/节点访问该文件 exclusiveStream = File.Open(targetFilePath, FileMode.Open, FileAccess.ReadWrite, FileShare.None); } catch (IOException) { // 抛出IO异常说明文件已被其他节点锁定,直接跳过当前文件即可 return; }
- 成功获取流之后执行你现有的文件处理、移动逻辑,全部操作完成后关闭流释放锁
- 兜底死锁处理:在共享目录下为每个锁定的文件生成同名
.lock标记文件,写入当前节点标识和锁创建时间,后台定时任务扫描超过预设处理时长(比如30分钟)的lock文件,确认对应节点无响应后直接删除lock文件、释放文件句柄。
提示:如果你的文件处理逻辑需要先读取内容、修改后回写,该方案可以同时避免文件读写冲突,不需要额外做一致性校验。
方案二:分布式锁组件(适合集群规模大、业务逻辑复杂的场景)
如果节点数超过5台,或者后续需要扩展其他分布式能力,可以引入通用分布式锁组件实现更灵活的控制。
Redis分布式锁实现(C# 示例)
用StackExchange.Redis库基于Redis原子命令实现锁:
// 用文件全路径的MD5作为锁的唯一key var lockKey = $"file_process:{Convert.ToHexString(MD5.HashData(Encoding.UTF8.GetBytes(targetFilePath)))}"; // 锁的值存当前节点唯一标识,避免误释放其他节点的锁 var lockIdentity = $"{Environment.MachineName}_{Guid.NewGuid():N}"; // 原子加锁,同时设置30分钟过期时间避免节点异常退出死锁 var lockAcquired = await redisDb.StringSetAsync(lockKey, lockIdentity, TimeSpan.FromMinutes(30), When.NotExists); if (!lockAcquired) { // 拿锁失败,跳过当前文件 return; } try { // 执行原有文件处理逻辑 // 大文件处理场景可以额外开个后台线程定期续期锁,避免处理过程中锁过期 } finally { // 只有锁的持有者可以释放锁 if (await redisDb.StringGetAsync(lockKey) == lockIdentity) { await redisDb.KeyDeleteAsync(lockKey); } }
如果没有Redis环境,也可以用现有SQL Server数据库建锁表,基于行级锁/唯一约束实现同等逻辑。
运维优化建议
- 所有节点配置NTP时间同步,避免锁超时判断出现偏差
- 处理完成/处理失败的文件统一移动到专属归档目录,不要留在原监听目录,降低监听扫描开销
- 日志中记录每个文件的处理节点ID、处理时间、处理结果,方便问题排查
内容的提问来源于stack exchange,提问作者Robin Sharma
相关产品推荐
相关产品推荐

