fsnotify文件监控器内存占用过高 疑似内存泄漏求助

问题分析 #

你遇到的内存占用过高问题，核心原因大概率是以下几点：

• Windows平台下fsnotify的实现特性：fsnotify依赖ReadDirectoryChangesWAPI，每个被监控的目录都会占用一定的内核资源和用户态内存，当监控数千甚至上万个目录（比如C:\Users下的海量子目录）时，内存会急剧累积。
• 未清理无效监控项：目录被删除后，你没有从watcher中移除对应的监控，导致无效的监控资源持续占用内存。
• 冗余系统调用：代码中重复调用os.Stat判断目录，增加了不必要的开销（虽不直接导致内存泄漏，但会降低性能）。

解决方案 #

1. 优化目录判断逻辑，减少冗余调用

利用filepath.WalkDir回调提供的DirEntry直接判断是否为目录，无需额外调用os.Stat：

err = filepath.WalkDir("C:\\Users", func(path string, di fs.DirEntry, err error) error {    
    if err != nil {        
        log.Printf("walk error: %v", err)
        return nil // 可根据需求决定是否终止遍历
    }   
    if di.IsDir() {       
        err1 = watcher.Add(path)        
        if err1 != nil {            
            log.Println("watcher.add error: ", path)            
            log.Println(err1)       
        }   
    }   
    return nil 
}) 
if err != nil {     
    log.Fatalf("error with walkdir: %v", err) 
} 

2. 清理已删除目录的监控项

在收到fsnotify.Remove事件时，主动调用watcher.Remove释放对应目录的监控资源：

// 事件处理协程
go func() {
    for {
        select {
        case event, ok := <-watcher.Events:
            if !ok {
                return
            }
            if event.Has(fsnotify.Create) {
                log.Println("file created: ", event.Name)
                // 动态监控新创建的目录
                if di, err := os.Stat(event.Name); err == nil && di.IsDir() {
                    if err := watcher.Add(event.Name); err != nil {
                        log.Printf("failed to watch new dir %s: %v", event.Name, err)
                    }
                }
            } else if event.Has(fsnotify.Remove) {
                log.Println("file removed: ", event.Name)
                // 移除已删除目录的监控
                if err := watcher.Remove(event.Name); err != nil {
                    // 部分场景下会报错（如文件非目录），可忽略或按需处理
                    log.Printf("failed to remove watch for %s: %v", event.Name, err)
                }
            }
        case err, ok := <-watcher.Errors:
            if !ok {
                return
            }
            log.Println("error:", err)
        }
    }
}()

3. 针对超大量目录的额外优化

如果C:\Users下的子目录数量极多，fsnotify的实时监控方案可能不再适用，可考虑：

• 改用定时扫描+增量对比的方式：每隔一段时间遍历目录，对比上次的目录结构，发现变化再处理，内存占用会大幅降低。
• 检查fsnotify版本：确保使用最新版本的github.com/fsnotify/fsnotify，旧版本可能存在已知的内存泄漏bug。

内容的提问来源于stack exchange，提问作者baydırman