如何在Windows（NTFS）中预分配文件空间且无需写入整个文件

问题根源 #

你遇到的是NTFS的延迟零填充机制：当用SetEndOfFile或SetFileInformationByHandle预分配空间后，文件中未写入的区域被标记为“未初始化”。当你向尾部附近写入数据时，Windows为了保证未写入区域读取时返回零，会自动填充这些未初始化区域为零，导致System进程占用100%磁盘IO，这就是问题的核心。

解决方案：使用SetFileValidData函数 #

这个函数可以绕过零填充，直接设置文件的有效数据长度，让NTFS认为预分配的区域已经包含有效数据（无需填充零），效果和Linux的fallocate类似。具体步骤如下：

1. 申请必要权限 #

SetFileValidData需要SeManageVolumePrivilege权限，默认用户没有该权限，所以需要先获取并启用：

• 调用OpenProcessToken打开当前进程的令牌。
• 调用LookupPrivilegeValue获取SeManageVolumePrivilege的LUID。
• 调用AdjustTokenPrivileges启用该权限。

2. 预分配空间并设置有效数据长度 #

// 示例代码逻辑
HANDLE hFile = CreateFileW(
    L"large_file.bin",
    GENERIC_READ | GENERIC_WRITE,
    0,
    NULL,
    CREATE_ALWAYS,
    FILE_ATTRIBUTE_NORMAL,
    NULL
);

if (hFile == INVALID_HANDLE_VALUE) {
    // 错误处理
}

// 预分配的目标大小（例如1TB）
LARGE_INTEGER targetSize;
targetSize.QuadPart = 1024LL * 1024 * 1024 * 1024;

// 移动文件指针到目标大小位置
LARGE_INTEGER distanceToMove = targetSize;
LARGE_INTEGER newFilePointer;
if (!SetFilePointerEx(hFile, distanceToMove, &newFilePointer, FILE_BEGIN)) {
    // 错误处理
}

// 调用SetEndOfFile分配磁盘空间
if (!SetEndOfFile(hFile)) {
    // 错误处理
}

// 设置有效数据长度为目标大小，绕过零填充
if (!SetFileValidData(hFile, targetSize.LowPart, targetSize.HighPart)) {
    // 错误处理
}

// 关闭文件句柄
CloseHandle(hFile);

3. 关键注意事项 #

• 文件系统限制：仅支持NTFS，不兼容FAT、exFAT等其他文件系统。
• 权限要求：必须拥有SeManageVolumePrivilege权限，通常需要以管理员身份运行程序，或者提前配置权限。
• 数据安全风险：未初始化的区域可能包含磁盘上的旧数据，读取这些区域会返回原始残留数据，你需要负责在后续写入时覆盖这些区域，避免敏感信息泄露。
• 性能优势：设置有效数据长度后，后续写入文件任意位置都不会触发零填充操作，完全避免了大量IO占用的问题。

替代验证方案 #

如果无法获取SeManageVolumePrivilege，可以考虑先创建稀疏文件，再通过FSCTL_SET_ZERO_DATA填充需要的区域，但这种方法本质还是稀疏文件，不符合你的非稀疏需求，因此SetFileValidData是最优解。

内容的提问来源于stack exchange，提问作者nazar-pc