Go语言遍历5万+小文件性能优化求助：os.ReadFile读取耗时1-2ms

• 磁盘随机IO的固定开销占主导：你的文件都是1-3KB的小文件，读取这类文件的耗时主要不是数据传输时间，而是磁盘寻道、文件元数据读取、系统调用上下文切换这些固定开销。哪怕是SSD，单个小文件的IO操作也会有毫秒级的延迟，5万次累计下来开销就非常可观。
• os.ReadFile的全流程开销：os.ReadFile会完整执行「打开文件→读取全部内容→关闭文件」的流程，每个文件都要触发三次系统调用，重复5万次后，系统调用的累计开销会被放大。

1. 并发处理文件，利用IO等待时间 #

单线程处理时，CPU大部分时间在等待磁盘IO完成，用goroutine并发处理可以把这些等待时间利用起来，同时处理多个文件。注意控制并发数，避免过多goroutine导致系统资源耗尽：

import (
    "bytes"
    "os"
    "sync"
)

func searchFiles(fileList []string, target string, concurrency int) {
    var wg sync.WaitGroup
    sem := make(chan struct{}, concurrency)
    targetBytes := []byte(target)

    for _, filename := range fileList {
        wg.Add(1)
        sem <- struct{}{}
        go func(f string) {
            defer wg.Done()
            defer func() { <-sem }()

            content, err := os.ReadFile(f)
            if err != nil {
                // 这里添加错误处理，比如日志记录
                return
            }
            if bytes.Contains(content, targetBytes) {
                // 处理找到匹配的逻辑，比如记录文件名
                // fmt.Printf("Found target in: %s\n", f)
            }
        }(filename)
    }
    wg.Wait()
}

并发数建议根据磁盘性能调整，SSD可以设为100-200，机械硬盘设为20-50。

2. 减少不必要的内存分配与系统调用 #

• 直接在[]byte上搜索：不要把文件内容转成string再用strings.Contains，而是用bytes.Contains直接搜索原始的[]byte，省去内存分配和类型转换的开销。
• 高效遍历文件目录：用filepath.WalkDir代替旧的ioutil.ReadDir，前者会按需加载文件元数据，避免一次性加载大量数据到内存，适合遍历海量小文件。

3. 利用操作系统的文件缓存与预读 #

操作系统会自动缓存已读取的文件，第二次读取时会直接从内存获取。如果是第一次冷启动遍历，可以通过系统调用提示操作系统预读文件，提升顺序读取的效率（仅Linux/macOS有效）：

import (
    "io"
    "os"
    "syscall"
)

func readFileWithAdvise(filename string) ([]byte, error) {
    fd, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer fd.Close()

    // 提示操作系统按顺序预读文件，适合批量顺序遍历
    err = syscall.Fadvise(int(fd.Fd()), 0, 0, syscall.FADV_SEQUENTIAL)
    if err != nil {
        // 预读提示失败不影响后续读取，可忽略错误
    }

    return io.ReadAll(fd)
}

4. 极端场景：合并小文件（若可控） #

如果这些小文件是你可以控制生成的，后续可以考虑将多个小文件合并成大文件，从根本上减少IO操作的固定开销。但如果是已存在的文件，这个方案不适用。

内容的提问来源于stack exchange，提问作者Krishnan V S