C# FileStream读取6GB大文件偏移超3960000000时缓冲区全为零的问题

问题现象 #

• 待读取目标文件总大小超过6GB，通过FileStream打开文件执行读取时，当文件位置偏移超过3960000000后，写入test4缓冲区的读取内容全部为零值，但实际文件对应位置存储的有效数据并非零值。
• 偏移值低于3960000000的读取区间内，程序全程运行正常，无任何报错抛出。
• 初步判断为文件流内部读取流程存在隐性故障，以下为可复现问题的测试代码。

可复现问题的测试代码 #

long now_pos2 = 0;
FileStream ReadFileStream_ORI2 = new FileStream(
  d_ori.FileName,
  FileMode.Open,
  FileAccess.Read,
  FileShare.Read
);

byte[] test4 = new byte[10000000];

for (int i = 0; i < 400; i++)
{ 
  if (i==396) {; }
  ReadFileStream_ORI2.Seek(now_pos2, SeekOrigin.Begin);
  ReadFileStream_ORI2.Read(test4, 0, 10000000);
  now_pos2 += 10000000;
}

问题根本原因排查方向 #

• 运行时旧版本32位偏移截断bug：早期.NET Framework版本中，FileStream内部的物理文件指针计算存在32位类型残留逻辑，当64位偏移量达到3960000000阈值时，偏移值会被错误截断为32位有符号整数，导致实际文件指针跳转至完全非预期的位置；如果跳转后的位置刚好是稀疏文件的预分配空洞、磁盘的零值填充区，就会表现为读取内容全零，全程不抛出任何异常。
• 未校验Read方法实际返回值：FileStream.Read方法不保证一次性读完全部请求的字节数，当底层IO因为网络磁盘缓存限制、文件锁占用、跨物理块读取开销过大等原因仅返回部分读取量时，test4缓冲区中未被实际写入的区域会保留数组初始化的零值；当偏移量增大到触发底层IO分段读取阈值时，可能出现连续大量缓冲区未被实际填充的情况，表现为整段缓冲区全零。
• 构造参数缺失放大故障概率：当前代码构造FileStream时未显式指定缓冲区大小与访问优化选项，使用系统默认的4KB缓冲区配置在单次读取10MB大块数据时，会频繁触发跨缓存区的指针重定位，放大上述偏移计算的隐性bug。

修复方案参考 #

• 构造FileStream时显式指定与单次读取块匹配的10MB缓冲区大小，同时根据顺序读取场景添加FileOptions.SequentialScan参数，优化大文件访问的指针计算逻辑与IO性能。
• 不依赖外部累计的now_pos2值判断文件位置，每次Seek操作完成后直接读取FileStream.Position的实际值，确认与预期偏移一致后再执行Read操作。
• 封装循环读取逻辑，严格校验Read方法的实际返回字节数，直到请求的10MB数据全部读取完成；遇到返回值为0的情况主动判断是否到达文件末尾，避免把未填充的零值缓冲区当作有效文件数据。
• 升级当前运行时到.NET Framework 4.8以上、或.NET Core 3.1以上版本，旧版本中针对2GB以上大文件偏移的指针计算bug已经在后续补丁中全部修复。

内容的提问来源于stack exchange，提问作者JH KIM