h5py读取虚拟HDF数据集存入NumPy数组时数据不一致问题

以下是该场景下最常见的三类诱因，你可以按顺序排查：

• VDS长度声明与实际源数据总长度不匹配：创建虚拟数据集时，如果指定的总长度大于所有源数据集拼接后的实际有效长度，超出范围的位置会默认用你定义的fillvalue（默认是0）填充。单独取最后一个元素时h5py可能直接命中了源文件的有效数据块，而全量[:]读取时会按照VDS声明的总长度补全末尾填充位，导致两者结果不一致。你可以先对比virtual['part2/index'].shape和a.shape的长度是否一致，若VDS声明长度更长即可确认是该问题。
• 数据类型不匹配溢出：如果创建VDS时指定的dtype精度低于源数据集的dtype（比如源是64位整数，VDS声明为32位有符号整数），全量读取时会发生整数溢出截断。890176134大于32位有符号整数的最大值2147483647，溢出后就会得到0这类异常值。你可以对比virtual['part2/index'].dtype和源数据集的dtype是否一致验证该问题。
• 文件缓存不一致：h5py的文件句柄带有读写缓存，如果你创建VDS后未正确关闭文件，或者在两次读取之间有其他进程修改了源数据集，就会出现单次索引和全量读取命中不同缓存的问题。你可以在全量读取前调用virtual.flush()刷新缓存，或者重新打开VDS文件重复测试，验证结果是否一致。

验证代码 #

# 基础属性校验
print("VDS数据集声明形状：", virtual['part2/index'].shape)
print("VDS数据集数据类型：", virtual['part2/index'].dtype)
print("VDS数据集填充值：", virtual['part2/index'].fillvalue)
print("全量读取数组形状：", a.shape)
print("全量读取数组数据类型：", a.dtype)

# 一致性校验
b = virtual['part2/index'][:]
print("重新全量读取最后一位：", b[-1])
print("直接读取最后一位：", virtual['part2/index'][-1])

内容的提问来源于stack exchange，提问作者pnjun