You need to enable JavaScript to run this app. 如何创建多服务器运行的C# Windows服务 监听单目录避免文件重复处理
优惠活动
大模型
产品
解决方案
定价
更多

如何创建多服务器运行的C# Windows服务 监听单目录避免文件重复处理

C# Windows服务多机部署防重复处理共享目录文件解决方案

核心逻辑

多节点互斥的核心是为每个待处理文件新增分布式互斥锁,只有成功获取锁的节点可以处理对应文件,现有单服务的业务处理逻辑无需大幅改造。

方案一:共享目录原生文件锁(轻量无额外依赖,优先推荐)

直接利用Windows共享目录的文件独占访问特性实现锁,不需要额外部署中间件,适配成本最低。
实现步骤:

  • 监听到文件新增通知后,先等待1-3秒再操作,避免文件还处于上传写入阶段就触发锁定
  • 尝试以独占读写模式打开目标文件,捕获异常判断锁是否被占用:
FileStream exclusiveStream = null;
try
{
    // FileShare.None 参数表示禁止其他进程/节点访问该文件
    exclusiveStream = File.Open(targetFilePath, FileMode.Open, FileAccess.ReadWrite, FileShare.None);
}
catch (IOException)
{
    // 抛出IO异常说明文件已被其他节点锁定,直接跳过当前文件即可
    return;
}
  • 成功获取流之后执行你现有的文件处理、移动逻辑,全部操作完成后关闭流释放锁
  • 兜底死锁处理:在共享目录下为每个锁定的文件生成同名.lock标记文件,写入当前节点标识和锁创建时间,后台定时任务扫描超过预设处理时长(比如30分钟)的lock文件,确认对应节点无响应后直接删除lock文件、释放文件句柄。

提示:如果你的文件处理逻辑需要先读取内容、修改后回写,该方案可以同时避免文件读写冲突,不需要额外做一致性校验。


方案二:分布式锁组件(适合集群规模大、业务逻辑复杂的场景)

如果节点数超过5台,或者后续需要扩展其他分布式能力,可以引入通用分布式锁组件实现更灵活的控制。

Redis分布式锁实现(C# 示例)

用StackExchange.Redis库基于Redis原子命令实现锁:

// 用文件全路径的MD5作为锁的唯一key
var lockKey = $"file_process:{Convert.ToHexString(MD5.HashData(Encoding.UTF8.GetBytes(targetFilePath)))}";
// 锁的值存当前节点唯一标识,避免误释放其他节点的锁
var lockIdentity = $"{Environment.MachineName}_{Guid.NewGuid():N}";
// 原子加锁,同时设置30分钟过期时间避免节点异常退出死锁
var lockAcquired = await redisDb.StringSetAsync(lockKey, lockIdentity, TimeSpan.FromMinutes(30), When.NotExists);
if (!lockAcquired)
{
    // 拿锁失败,跳过当前文件
    return;
}
try
{
    // 执行原有文件处理逻辑
    // 大文件处理场景可以额外开个后台线程定期续期锁,避免处理过程中锁过期
}
finally
{
    // 只有锁的持有者可以释放锁
    if (await redisDb.StringGetAsync(lockKey) == lockIdentity)
    {
        await redisDb.KeyDeleteAsync(lockKey);
    }
}

如果没有Redis环境,也可以用现有SQL Server数据库建锁表,基于行级锁/唯一约束实现同等逻辑。

运维优化建议

  • 所有节点配置NTP时间同步,避免锁超时判断出现偏差
  • 处理完成/处理失败的文件统一移动到专属归档目录,不要留在原监听目录,降低监听扫描开销
  • 日志中记录每个文件的处理节点ID、处理时间、处理结果,方便问题排查

内容的提问来源于stack exchange,提问作者Robin Sharma

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 07:24:03