如何单次写入超过2G的数据？已定义大文件宏仍存问题

你遇到的问题很典型：虽然已经正确启用了大文件支持（通过_LARGEFILE64_SOURCE和_FILE_OFFSET_BITS=64），能打开超过2G的文件，但write()系统调用本身有单次写入的长度限制——即使是64位进程，Linux内核也不允许单次写入超过INT_MAX（2147483647字节，约2G）左右的数据，这就是你得到返回值2147479552的原因（这个值是INT_MAX减去一个页大小，是内核对齐后的上限）。

为什么会这样？ #

内核的I/O子系统设计中，为了避免资源耗尽，对单次读写的字节数做了上限限制（定义为MAX_RW_COUNT，多数64位Linux系统中这个值等于INT_MAX）。64位大文件支持只是让你能处理大文件的偏移量，而非突破单次I/O的长度限制。

解决方法：循环写入 #

要写入超过2G的数据，你需要分多次调用write()，直到所有数据都写入完成。下面是修改后的代码示例：

#define _GNU_SOURCE
#define _LARGEFILE_SOURCE
#define _LARGEFILE64_SOURCE
#define _FILE_OFFSET_BITS 64
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include <errno.h>
#include <unistd.h>
#include <sys/mman.h>  // 原代码的mmap.h应替换为标准的sys/mman.h
#include <limits.h>     // 引入INT_MAX的定义

#define SPACE_SIZE 68719476736ULL  // 加ULL确保是64位无符号整数，避免溢出

int main() {
    ssize_t bytes_written;
    size_t total_written = 0;
    void* zeros;
    int fd = open64("./test", O_CREAT|O_RDWR|O_LARGEFILE, 0644);
    assert(fd != -1);
    
    // 使用MAP_ANONYMOUS无需打开/dev/zero，直接传-1即可创建零填充的匿名映射
    zeros = mmap(NULL, SPACE_SIZE, PROT_READ, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
    assert(zeros != MAP_FAILED);
    
    while (total_written < SPACE_SIZE) {
        // 每次写入不超过INT_MAX，规避内核单次写入限制
        size_t write_size = SPACE_SIZE - total_written;
        if (write_size > (size_t)INT_MAX) {
            write_size = (size_t)INT_MAX;
        }
        
        bytes_written = write(fd, (char*)zeros + total_written, write_size);
        if (bytes_written == -1) {
            perror("write failed");
            munmap(zeros, SPACE_SIZE);
            close(fd);
            exit(EXIT_FAILURE);
        }
        total_written += bytes_written;
    }

    // 验证总写入量符合预期
    assert(total_written == SPACE_SIZE);
    munmap(zeros, SPACE_SIZE);
    close(fd);
    return EXIT_SUCCESS;
}

额外优化建议 #

1. 替换匿名映射方式：原代码中打开/dev/zero是多余的，MAP_ANONYMOUS标志会直接创建零填充的匿名映射，无需依赖外部设备文件。
2. 高效预分配空间：如果你的需求只是创建大文件而非写入实际数据，可以使用fallocate()系统调用（需文件系统支持，如ext4、XFS），它能直接预分配磁盘空间，速度远快于写入零数据：

   // 替换mmap和write循环的逻辑
   if (fallocate(fd, 0, 0, SPACE_SIZE) == -1) {
       perror("fallocate failed");
       close(fd);
       exit(EXIT_FAILURE);
   }
   

内容的提问来源于stack exchange，提问作者L.Ward