Windows下C++读取大二进制文件时ifstream::read提前终止排查

问题复现 #

• 测试文件：MNIST官方测试集压缩包t10k-images-idx3-ubyte.gz，解压后得到二进制文件t10k-images.idx3-ubyte
• 文件结构：前16字节存储魔数、样本数量、图像尺寸等元信息，第16字节至文件末尾共存储10000张28×28尺寸的灰度图原始像素，总像素数据长度为28*28*10000 = 7840000字节
• 故障现象：跳过前16字节元信息后，尝试一次性读取全部像素数据到缓冲区时，ifstream::read()仅读取部分合法数据就停止，缓冲区剩余区域为未初始化内存的固定脏值（测试环境下表现为全0或全-51，不同设备表现存在差异），程序无异常抛出，未读满指定长度
• 运行环境：Windows系统

复现代码如下：

#include <array>
#include <iostream>
#include <fstream>
#include <string>
#include <exception>
#include <vector>

int main() {
  try {
    std::string path = R"(Drive:\Path\To\t10k-images.idx3-ubyte)";
    std::ifstream inputStream {path};
    inputStream.seekg(16);  // 跳过开头的魔数与元信息
    char* arrayBuffer = new char[28 * 28 * 10000];  // 为10000张28×28灰度图分配内存
    inputStream.read(arrayBuffer, 28 * 28 * 10000);
    std::ofstream output {R"(Drive:\Path\To\PixelBuffer.txt)"};  // 调试用输出文件
    for (size_t i = 0; i < 28 * 28 * 10000; i++) {
      output << static_cast<short>(arrayBuffer[i]);
      // 每28个像素换行，对应图像单行
      if ((i + 1) % 28 == 0) {
        output << "\n";
      }
      else {
        output << " ";
      }
    }
    std::cout << inputStream.good() << std::endl;
    std::cout << "WTF?" << std::endl;
    delete[] arrayBuffer;
  } catch (const std::exception& e) {
    std::cout << e.what() << std::endl;
  } catch (...) {
    std::cout << "WTF happened!?!?" << std::endl;
  }
  return 0;
}

故障根因 #

不存在所谓的单次读取字节数上限，问题来自Windows平台的文件默认打开规则：
ifstream在Windows下默认以文本模式打开文件，该模式继承自DOS系统的文本文件约定，会将字节值0x1A（Ctrl+Z字符）判定为文件结束标记，读取到该字节时直接终止后续读取流程。MNIST存储的是0-255范围的原始像素值，必然会出现取值为0x1A的字节，因此读取到第一个对应像素位置时就会停止，缓冲区后续未被写入的区域就会保留未初始化的脏值。

修复方案 #

打开文件流时显式指定二进制打开模式std::ios::binary，禁用文本模式下的特殊字符识别、换行转换等逻辑即可。

修正后的文件流初始化代码：

// 原错误写法：默认文本模式
// std::ifstream inputStream {path};
// 修正写法：指定二进制模式
std::ifstream inputStream {path, std::ios::binary};

可通过gcount()接口获取实际读取的字节数，做读取结果校验：

const size_t expectedLen = 28 * 28 * 10000;
inputStream.read(arrayBuffer, expectedLen);
size_t actualLen = inputStream.gcount();
if (actualLen != expectedLen) {
    std::cout << "读取长度异常，预期读取" << expectedLen << "字节，实际读取" << actualLen << "字节" << std::endl;
}

内容的提问来源于stack exchange，提问作者Ray