Windows下std::fstream批量打开小文件性能异常缓慢问题排查

核心原因分析及解决方案 #

Windows Defender实时扫描的累积开销 #

Windows默认开启的实时保护会对每个被打开的文件执行恶意代码扫描，当处理数千个小文件时，单个文件的扫描耗时会被累积放大，最终导致总运行时间剧增。

• 验证方法：临时关闭Windows Defender实时保护（仅用于测试，测试后请重新开启），重新运行程序观察性能变化。
• 解决方法：将存放目标文件的目录加入Windows Defender的排除列表，避免该目录下的文件被实时扫描。

NTFS单目录文件过多的元数据访问瓶颈 #

NTFS依赖主文件表（MFT）存储文件元数据，当单个目录下存在数千个文件时，MFT的查找和访问会产生显著的额外开销。而macOS的APFS在处理大量小文件的目录结构时，元数据访问效率远高于NTFS。

• 解决方法：将文件分散到多个子目录中（例如按文件名哈希值、首字母划分成若干子文件夹），减少单个目录下的文件数量，降低MFT的访问压力。

Windows系统调用的固定开销差异 #

Windows底层的CreateFile系统调用（C++std::ifstream和C风格fopen最终都会调用该接口）本身比macOS的open调用有更高的固定开销，当批量处理大量文件时，这种开销会被进一步放大。可以通过直接调用Win32 API优化打开操作：

#include <windows.h>
#include <vector>
#include <wstring>
#include <iostream>

int main() {
    std::vector<std::wstring> filePaths{ L"file1", L"file2", ... }; // 使用宽字符路径
    int i = 0;
    for (const std::wstring& filePath : filePaths) {
        HANDLE hFile = CreateFileW(
            filePath.c_str(),
            GENERIC_READ,
            FILE_SHARE_READ,
            nullptr,
            OPEN_EXISTING,
            FILE_ATTRIBUTE_NORMAL | FILE_FLAG_SEQUENTIAL_SCAN, // 启用顺序扫描优化
            nullptr
        );
        if (hFile != INVALID_HANDLE_VALUE) {
            CloseHandle(hFile);
        }
        std::cout << i++ << std::endl;
    }
    return 0;
}

这段代码跳过了C++标准库的封装层，直接调用Win32 API，并使用宽字符路径避免字符串转换开销，同时通过FILE_FLAG_SEQUENTIAL_SCAN告知系统优化缓存策略。

内容的提问来源于stack exchange，提问作者csk