NTFS稀疏文件随机写入碎片过多，求预分配或无零回填方案

我有一个应用程序，需在NTFS卷上写入一个1TB的单文件，写入操作并非顺序执行，由多个线程向文件的不同偏移位置写入，且应用会保证文件的所有区域都会被写入。在此场景下，若某线程尝试向接近文件末尾的偏移位置（例如900GB处）写入，程序会暂时卡住，这是因为Windows会先将该位置之前所有“未写入”区域回填零。

作为临时解决方案，我在写入前通过IOCTL调用将文件标记为稀疏文件。此后，Windows不再进行零回填操作，程序运行速度提升，但稀疏文件结合随机写入会导致严重的文件碎片问题。使用Contig工具检测该文件时，显示其存在1085463个碎片；部分运行场景下，碎片数量超过150万，此时文件同步调用会报错：“请求的操作因文件系统限制无法完成”。

Contig v1.83 - Contig
Copyright (C) 2001-2023 Mark Russinovich
Sysinternals
D:\data\db1.mdf is in 1085463 fragments
Summary:
     Number of files processed:      1
     Number unsuccessfully procesed: 0
     Average fragmentation       : 1.08546e+06 frags/file
PS C:\Users\Administrator\Downloads\Contig>

应用每次写入的大小为512KB，假设每个无序写入操作都会生成一个新碎片，那么在写入512KB×1500000=732GB的数据后，可能会达到文件系统的限制。

请问是否可以让Windows为稀疏文件预分配空间以减少碎片？或者不使用稀疏文件的情况下，能否在非稀疏文件上进行随机写入而不触发零回填操作？

一、为稀疏文件预分配连续空间减少碎片 #

可以通过FSCTL_ALLOCATE_DISK_SPACE IOCTL调用，在标记文件为稀疏后预分配全部1TB的连续磁盘空间，后续随机写入时系统会直接使用已分配的连续簇，不会产生大量碎片。

操作步骤 #

1. 调用FSCTL_SET_SPARSE将文件标记为稀疏文件；
2. 调用FSCTL_ALLOCATE_DISK_SPACE，指定起始偏移为0、长度为1TB，同时设置ADSF_ALLOCATE_ALL标志确保一次性分配连续空间。

代码示例（C++） #

#include <windows.h>
#include <winioctl.h>

int main() {
    HANDLE hFile = CreateFile(L"D:\\data\\db1.mdf", GENERIC_WRITE | GENERIC_READ, 
                              FILE_SHARE_READ, nullptr, OPEN_EXISTING, 
                              FILE_ATTRIBUTE_NORMAL, nullptr);
    if (hFile == INVALID_HANDLE_VALUE) return GetLastError();

    // 标记为稀疏文件
    DWORD bytesReturned;
    DeviceIoControl(hFile, FSCTL_SET_SPARSE, nullptr, 0, nullptr, 0, &bytesReturned, nullptr);

    // 预分配1TB连续空间
    ALLOCATE_DISK_SPACE allocInfo = {0};
    allocInfo.StartOffset.QuadPart = 0;
    allocInfo.Length.QuadPart = 1024ULL * 1024 * 1024 * 1024; // 1TB
    allocInfo.Flags = ADSF_ALLOCATE_ALL;

    DeviceIoControl(hFile, FSCTL_ALLOCATE_DISK_SPACE, &allocInfo, sizeof(allocInfo),
                    nullptr, 0, &bytesReturned, nullptr);

    CloseHandle(hFile);
    return 0;
}

预分配完成后，文件会占用1TB的连续磁盘空间（稀疏文件的实际占用空间随写入逐步增长），后续随机写入不会再产生新碎片，解决碎片超限导致的同步报错问题。

二、非稀疏文件下避免随机写入时的零回填操作 #

使用SetFileValidData函数直接设置文件的有效数据长度为1TB，跳过系统的零回填步骤。该函数允许应用声明文件指定区域已包含有效数据（即使实际未写入），系统会认可该区域的有效性，后续随机写入时不会触发零回填。

注意事项 #

• 调用该函数需要SE_MANAGE_VOLUME_NAME权限，程序需以管理员身份运行；
• 仅支持NTFS卷，文件不能是压缩、加密或稀疏文件；
• 应用必须保证后续覆盖文件所有区域，否则读取未写入区域会得到磁盘残留数据。

操作步骤 #

1. 用CreateFile打开文件，指定GENERIC_WRITE权限；
2. 调用SetFilePointerEx和SetEndOfFile设置文件大小为1TB；
3. 启用SE_MANAGE_VOLUME_NAME权限后，调用SetFileValidData设置有效数据长度为1TB。

代码示例（C++） #

#include <windows.h>
#include <winioctl.h>

BOOL EnableManageVolumePrivilege() {
    HANDLE hToken;
    if (!OpenProcessToken(GetCurrentProcess(), TOKEN_ADJUST_PRIVILEGES | TOKEN_QUERY, &hToken)) {
        return FALSE;
    }

    TOKEN_PRIVILEGES tp;
    tp.PrivilegeCount = 1;
    if (!LookupPrivilegeValue(nullptr, SE_MANAGE_VOLUME_NAME, &tp.Privileges[0].Luid)) {
        CloseHandle(hToken);
        return FALSE;
    }
    tp.Privileges[0].Attributes = SE_PRIVILEGE_ENABLED;

    BOOL result = AdjustTokenPrivileges(hToken, FALSE, &tp, sizeof(tp), nullptr, nullptr);
    CloseHandle(hToken);
    return result;
}

int main() {
    if (!EnableManageVolumePrivilege()) return GetLastError();

    HANDLE hFile = CreateFile(L"D:\\data\\db1.mdf", GENERIC_WRITE | GENERIC_READ, 
                              FILE_SHARE_READ, nullptr, CREATE_ALWAYS, 
                              FILE_ATTRIBUTE_NORMAL, nullptr);
    if (hFile == INVALID_HANDLE_VALUE) return GetLastError();

    // 设置文件大小为1TB
    LARGE_INTEGER fileSize;
    fileSize.QuadPart = 1024ULL * 1024 * 1024 * 1024;
    SetFilePointerEx(hFile, fileSize, nullptr, FILE_BEGIN);
    SetEndOfFile(hFile);

    // 设置有效数据长度，跳过零回填
    if (!SetFileValidData(hFile, fileSize.QuadPart)) {
        DWORD err = GetLastError();
        CloseHandle(hFile);
        return err;
    }

    CloseHandle(hFile);
    return 0;
}

完成上述操作后，对文件任何偏移的随机写入都不会触发零回填，且文件为非稀疏状态，不会产生碎片问题。

内容的提问来源于stack exchange，提问作者Kanak