FileSystemWatcher缓冲区超限致文件丢失，求优化及替代方案

一、现有代码精准优化方案 #

你的代码存在多个核心问题，直接导致缓冲区溢出和文件丢失，以下是针对性优化：

1. 修正InternalBufferSize设置顺序 #

FileSystemWatcher的InternalBufferSize必须在EnableRaisingEvents = true之前配置，否则设置不生效（实际仍使用默认8192字节缓冲区），这是你缓冲区超限的关键原因之一。

2. 精简NotifyFilter与Filter，减少无效事件 #

• 仅保留必要的通知筛选器：如果你只需要监控文件创建，将NotifyFilter设为NotifyFilters.FileName | NotifyFilters.LastWrite，避免无关事件占用缓冲区
• 直接用目标文件后缀作为Filter：无需在事件处理中二次过滤，比如配置的fileExt是*.txt，就直接设f_Watcher.Filter = fileExt，减少不必要的事件触发

3. 移除Thread.Sleep(2000)，替换为可靠的文件就绪判断 #

Thread.Sleep会阻塞线程池中的事件处理线程，导致后续事件堆积，加速缓冲区溢出。判断文件是否写入完成的正确方式是尝试以独占模式打开文件：

private bool IsFileReady(string filePath)
{
    try
    {
        using (var stream = File.Open(filePath, FileMode.Open, FileAccess.ReadWrite, FileShare.None))
        {
            return stream.Length > 0;
        }
    }
    catch (IOException)
    {
        return false;
    }
}

处理文件前循环调用此方法，直到文件就绪（可添加超时逻辑避免无限等待）。

4. 缓存配置项，避免重复读取 #

InFolder和fileExt无需每次事件都读取配置，初始化时读取一次缓存即可。

5. 事件处理逻辑优化 #

• 直接处理触发事件的目标文件（e.FullPath），而非遍历整个目录，避免重复处理和资源浪费
• 将耗时的HLFile_Process.ProcessHL7File放到后台线程执行，不阻塞事件处理线程

优化后的核心代码 #

FileWatcher方法：

private void FileWatcher()   
{
    try
    {
        // 提前读取配置缓存
        InFolder = ConfigurationManager.AppSettings["InputPath"].ToString();
        fileExt = ConfigurationManager.AppSettings["fileExt"].ToString();

        f_Watcher = new System.IO.FileSystemWatcher();
        f_Watcher.Path = InFolder; 
        // 精简通知筛选器
        f_Watcher.NotifyFilter = NotifyFilters.FileName | NotifyFilters.LastWrite;
        // 直接用目标后缀作为Filter
        f_Watcher.Filter = fileExt;
        f_Watcher.IncludeSubdirectories = true;
        // 先设置缓冲区大小，再启用事件
        f_Watcher.InternalBufferSize = 65536;
        f_Watcher.Created += OnChanged; 
        f_Watcher.Error += LogBufferError;
        f_Watcher.EnableRaisingEvents = true;
    }
    catch (Exception)
    { 
        throw; 
    }
}

OnChanged方法：

private void OnChanged(object sender, FileSystemEventArgs e)
{
    try
    {
        string targetFile = e.FullPath;
        // 等待文件就绪（添加超时逻辑）
        int retryCount = 0;
        while (!IsFileReady(targetFile) && retryCount < 10)
        {
            Thread.Sleep(100);
            retryCount++;
        }
        if (retryCount >= 10)
        {
            MIEventLogs.WriteLog($"文件 {targetFile} 长时间未就绪，跳过处理 {DateTime.Now:yyyy-MM-dd HH:mm:ss}");
            return;
        }

        // 后台线程处理耗时操作，不阻塞事件线程
        Task.Run(() => 
        {
            HLFile_Process.ProcessHL7File(Path.GetDirectoryName(targetFile), Path.GetFileName(targetFile));
            MIEventLogs.WriteLog($"MI File Process END: {DateTime.Now:yyyy-MM-dd HH:mm:ss}");
        });
    }
    catch (Exception ex)
    {
        MIEventLogs.WriteLog($"处理文件出错: {ex.ToString()} {DateTime.Now:yyyy-MM-dd HH:mm:ss}");
    }
}

6. 其他优化建议 #

• 确保LogBufferError方法正确记录缓冲区溢出错误（通过ErrorEventArgs.GetException()获取具体异常）
• 如果不需要监控子目录，将IncludeSubdirectories设为false，减少事件数量

二、替代文件监控方案 #

如果优化后仍无法解决高频文件传入的问题，可考虑以下方案：

1. 目录轮询 #

每隔固定时间遍历目标目录，对比上次记录的文件列表，处理新增文件。这种方式完全避免缓冲区溢出问题，适合对实时性要求不是极高的场景：

private HashSet<string> _processedFiles = new HashSet<string>();
private void StartPolling()
{
    Timer timer = new Timer(PollDirectory, null, 0, 2000); // 每2秒轮询一次
}

private void PollDirectory(object state)
{
    string[] files = Directory.GetFiles(InFolder, fileExt, SearchOption.AllDirectories);
    foreach (string file in files)
    {
        if (_processedFiles.Add(file) && IsFileReady(file))
        {
            Task.Run(() => HLFile_Process.ProcessHL7File(Path.GetDirectoryName(file), Path.GetFileName(file)));
        }
    }
}

2. 直接调用Windows API ReadDirectoryChangesW #

FileSystemWatcher底层基于此API，自行封装可实现更灵活的缓冲区管理和事件处理，支持更大的缓冲区和重叠IO，适合超高频文件场景。

3. 第三方库 #

使用成熟的第三方文件监控库：

• FileSystemWatcherEx：增强版FileSystemWatcher，优化了缓冲区处理和事件调度
• Reactive Extensions (Rx)：通过Rx.NET将文件事件转换为可观察序列，更高效地处理并发事件

4. 架构调整 #

如果是系统内部文件传输，可改为消息队列驱动：文件上传方先发送消息到队列（包含文件路径），消费方从队列获取消息后处理文件，彻底规避依赖文件系统监控的问题。

内容的提问来源于stack exchange，提问作者Ravi Kumar