Fortran流访问大文件时inquire(POS)返回超大整数异常及读写方案咨询

实现背景 #

当前采用*无格式（unformatted）、流访问（stream access）*模式读写超大文件，设计思路如下：

• 为避免磁盘产生过多小文件，将数据合并存储为大文件
• 因单文件体量大，为避免内存溢出不一次性加载全量文件，程序运行过程中多次打开同一文件，仅读取当前所需的文件片段

示例代码逻辑为：将已写入data.dat的长度为10的数组A，分两次读取到长度为5的数组B中，原始实现代码：

real, dimension(5) :: B
integer:: fu, myposition

open(newunit=fu,file="data.dat",status="old",form = 'unformatted',access='stream')
read (fu,POS=1) B
inquire(unit=fu,POS=myposition)
close(fu)

[....]

open(newunit=fu,file="data.dat",status="old",form = 'unformatted',access='stream')
read (fu,POS=myposition) B
inquire(unit=fu,POS=myposition)
close(fu)

[...]

涉及数据集规模：数千个单文件大小约10GB的文件。

问题1：现有分块读取实现方式是否正确？ #

• 基础逻辑可正常运行：流访问模式原生支持通过POS参数指定字节偏移量做随机读取，无格式流存储不会额外插入记录分隔符，只要传入的偏移量计算准确，分块读取、读后关闭文件的操作不会出现数据读取错误。
• 存在不必要的性能损耗：每次读取完成就关闭文件、下次读取再重新打开，对于数千个10GB级文件的批量处理场景，频繁的文件open/close系统调用会产生额外IO开销。如果两次读取之间没有必须释放文件句柄的强制要求，完全可以在初始化阶段打开一次文件，全程持有句柄按偏移量持续读取，所有数据处理完成后再关闭，能大幅减少重复打开文件的无效开销。

问题2：大文件下inquire返回位置为负值（整数溢出）的解决方案 #

仅将myposition声明为更大位宽的整数不能彻底解决问题，原有实现确实存在设计冗余，具体处理方案如下：

1. 统一使用64位整型存储文件偏移量
   出现负值返回值的直接原因是默认integer类型通常为32位有符号整数，最大可表示的字节偏移量为2^31-1，约合2GB，远小于单文件10GB的规模，自然会出现整数溢出。
   注意不能仅修改myposition的声明：所有传给read语句的POS参数、inquire返回的位置变量，必须统一声明为64位整型。Fortran标准可移植写法为用selected_int_kind(18)定义64位整型kind，示例：

   ! 定义支持64位整数的kind参数，可覆盖最大1EB级的偏移量
   integer, parameter :: i64 = selected_int_kind(18)
   integer(kind=i64) :: myposition
   

   主流Fortran编译器（gfortran、Intel Fortran等）只要检测到POS参数传入的是64位整型，会自动启用大文件支持，不需要额外添加编译选项或文件打开参数，注意不要在参数传递时混用32位和64位整型，否则仍会出现截断溢出。
2. 更优实现方案：自行维护读取偏移量，去掉冗余的inquire调用
   原有实现每次读完都调用inquire查询当前位置、下次打开文件再传入该位置的逻辑完全多余：流模式下读取固定长度的数据块，偏移量可以自行计算维护，根本不需要反复调用inquire查询，既减少系统调用开销，也从根源上避免了接口返回值类型不匹配导致的溢出问题。
   注意Fortran流访问的POS计数从1开始（和C语言从0开始的规则不同），如果每次读取5个单精度real（每个占4字节），单块读取长度为20字节，初始偏移设为1，每次读完直接给偏移量加20即可。优化后的参考实现：

   integer, parameter :: i64 = selected_int_kind(18)
   integer, parameter :: BLOCK_ELEM_NUM = 5 ! 单块读取的数组元素个数
   integer, parameter :: ELEM_BYTE = 4 ! 单精度real占4字节，双精度改为8即可
   real, dimension(BLOCK_ELEM_NUM) :: B
   integer :: fu, block_idx, total_block_num
   integer(kind=i64) :: cur_pos
   
   total_block_num = 2 ! 10个元素总共需要读取2块
   cur_pos = 1_i64 ! 流访问起始位置为1
   ! 全程只打开一次文件，避免重复open/close开销
   open(newunit=fu, file="data.dat", status="old", form='unformatted', access='stream')
   do block_idx = 1, total_block_num
       read(fu, POS=cur_pos) B
       ! 自行更新偏移量，不需要调用inquire查询
       cur_pos = cur_pos + BLOCK_ELEM_NUM * ELEM_BYTE
       ! 此处添加B数组的业务处理逻辑
   end do
   close(fu)
   

该实现无冗余的文件打开、位置查询操作，偏移量计算逻辑可控，性能远高于原始写法，完全适配10GB级单文件的读取需求。

内容的提问来源于stack exchange，提问作者Gippo