Linux C++ IO并发读写冲突：fgetc随机返回EOF问题排查

核心原因：fork导致的C标准库文件流缓存冲突 #

当你用fork()创建子进程时，子进程会完整复制父进程的内存空间，包括C标准库维护的FILE结构体及其内部缓存。如果父进程在fork前已经打开了输出文件的FILE*，子进程写入后，父进程的FILE*缓存并没有同步更新——即使磁盘上的文件已经有数据，父进程调用fgetc时会优先读取自身缓存，而缓存可能已被标记为EOF，最终导致随机返回EOF的问题。

另外，fsync或flock这类操作仅针对磁盘文件或内核态文件描述符，无法同步C标准库的用户态缓存，因此解决不了本质问题。

具体修复方案 #

1. 避免父子进程共享同一FILE* #

父进程不要在fork前打开输出文件的FILE*，所有文件操作（打开、读写、关闭）都交给子进程处理，父进程仅负责等待子进程退出，之后重新打开文件进行对比。示例代码：

// run阶段逻辑修改
void runTask(JudgeTask& task) {
    pid_t pid = fork();
    if (pid == 0) {
        // 子进程：打开文件并重定向标准IO
        int in_fd = open(task.input_path.c_str(), O_RDONLY);
        int out_fd = open(task.output_path.c_str(), O_WRONLY | O_CREAT | O_TRUNC, 0644);
        dup2(in_fd, STDIN_FILENO);
        dup2(out_fd, STDOUT_FILENO);
        close(in_fd);
        close(out_fd);

        // 执行评测程序
        execvp(task.program_path.c_str(), nullptr);
        _exit(1); // exec失败时强制退出
    } else {
        // 父进程：等待子进程完全退出，确保文件写入完成
        int status;
        waitpid(pid, &status, 0);
    }
}

// test阶段逻辑
bool testTask(JudgeTask& task) {
    FILE* expected = fopen(task.expected_path.c_str(), "r");
    FILE* output = fopen(task.output_path.c_str(), "r");
    if (!expected || !output) {
        // 错误处理
        return false;
    }
    return streamComparer(expected, output);
}

2. 强制刷新并重置父进程的文件流缓存 #

如果必须在fork前打开文件，父进程在fork后需要对相关FILE*执行以下操作：

• fflush(fp)：将缓存数据刷入磁盘
• fclose(fp) + 重新打开：彻底重置文件流状态（最可靠的方式）

示例代码：

void runTask(JudgeTask& task) {
    FILE* output_fp = fopen(task.output_path.c_str(), "w");
    pid_t pid = fork();
    if (pid == 0) {
        dup2(fileno(output_fp), STDOUT_FILENO);
        // 子进程执行程序...
    } else {
        waitpid(pid, nullptr, 0);
        // 父进程刷新并关闭文件，重新打开用于读取
        fflush(output_fp);
        fclose(output_fp);
        FILE* read_fp = fopen(task.output_path.c_str(), "r");
        // 执行对比逻辑...
    }
}

3. 改用文件描述符直接操作，绕过C标准库缓存 #

如果不想处理FILE缓存的问题，可以直接使用系统调用（open、read、write）操作文件，这类操作直接作用于内核态文件描述符，不存在用户态缓存冲突的问题。示例对比函数：

bool fdComparer(int expected_fd, int output_fd) {
    char buf1[1024], buf2[1024];
    ssize_t n1, n2;
    while (true) {
        n1 = read(expected_fd, buf1, sizeof(buf1));
        n2 = read(output_fd, buf2, sizeof(buf2));
        if (n1 != n2) return false;
        if (n1 == 0) break; // 双方均到达EOF
        if (memcmp(buf1, buf2, n1) != 0) return false;
    }
    return true;
}

额外注意事项 #

• 确保子进程退出时，所有打开的文件描述符都被正确关闭，避免资源泄漏。
• 不要在多线程环境中共享FILE*，FILE结构体并非线程安全，std::async创建的线程需保证各自文件流独立。
• 对比文件前可先检查文件大小，若大小不一致可直接判定不通过，减少不必要的逐字符对比。

内容的提问来源于stack exchange，提问作者HimuQAQ