如何在h5py中为不同数据集设置不同的缓存大小

可以为不同Dataset单独设置差异化的缓存大小，不需要全局统一配置。h5py默认的文件级缓存是全局生效的，但你可以通过Dataset的访问属性列表单独覆盖缓存配置，实现训练数据和元数据的缓存配额隔离。

具体实现步骤 #

• 打开H5文件时将全局缓存设置为0，避免全局配置覆盖单Dataset的独立配置
• 针对体积小的元数据Dataset，可设置极小的缓存配额，也可以直接全量读取到内存完全跳过h5py缓存，节省缓存配额给训练数据
• 针对大体积训练数据Dataset，单独设置你需要的大缓存配额

代码示例 #

import h5py

# 打开H5文件，关闭全局默认缓存避免干扰
with h5py.File("your_data.h5", "r", rdcc_nbytes=0) as f:
    # ========== 元数据Dataset配置 ==========
    meta_dset = f["metadata"]
    # 方案1：单独设置元数据缓存为128MB，足够覆盖常用访问需求
    meta_access_plist = meta_dset.id.get_access_plist()
    meta_access_plist.set_cache(
        rdcc_nbytes=128 * 1024 * 1024,  # 缓存大小128MB
        rdcc_w0=0.75,  # 预取权重，默认值即可
        rdcc_nslots=10007  # 哈希槽数量，选大于预期缓存块数的质数
    )
    # 方案2：元数据仅2GB，直接全量加载到numpy数组，完全不占用h5py缓存配额
    # meta_arr = meta_dset[:]

    # ========== 训练数据Dataset配置 ==========
    train_dset = f["train_data"]
    train_access_plist = train_dset.id.get_access_plist()
    train_access_plist.set_cache(
        rdcc_nbytes=5 * 1024 * 1024 * 1024,  # 单独给训练数据设置5GB缓存
        rdcc_w0=0.75,
        rdcc_nslots=1000003
    )

    # 后续正常访问Dataset即可，两个Dataset的缓存完全独立，互不占用配额

优化建议 #

• 元数据总大小仅2GB，优先选择直接全量读取到内存的方案，这部分内存属于numpy数组占用，和h5py缓存配额无关，你可以把所有h5py缓存配额都分配给训练数据，大幅提升训练数据的缓存占比。按照你原来总6GB内存占用的标准，2GB存全量元数据，剩余4GB全给训练数据缓存，训练数据缓存占比可以从原来的17%提升到25%以上。
• set_cache的rdcc_nslots参数建议设置为比你预期缓存的数据块数量大的质数，可以减少哈希冲突，提升缓存读写效率。

内容的提问来源于stack exchange，提问作者Farhood ET