Python中加载变长数据到嵌套结构的高效优雅实现方案

针对层级文件夹下的变长HDF5向量数据存储需求，以下是几种比嵌套列表更高效优雅的实现方式，优先基于NumPy来优化：

方案1：NumPy Object数组（二维层级结构） #

利用NumPy的object dtype数组，可以存储不同长度的子数组，同时保持目录-文件的二维层级结构，比嵌套列表更规整且支持NumPy的索引操作：

import glob
import h5py
import numpy as np

dir_list = ["dir1", "dir2"]

# 先统计每个目录下的HDF5文件数量
dir_file_counts = [len(glob.glob(f"{d}/*.hdf5")) for d in dir_list]
# 创建对应维度的object数组，空位置默认填充None
data_array = np.empty((len(dir_list), max(dir_file_counts)), dtype=object)

for dir_idx, dir_name in enumerate(dir_list):
    file_list = glob.glob(f"{dir_name}/*.hdf5")
    for file_idx, file_path in enumerate(file_list):
        with h5py.File(file_path, "r") as fid:
            # 直接将变长向量存入数组对应位置
            data_array[dir_idx, file_idx] = fid["data"][:]

优势 #

• 保持清晰的二维层级结构，可通过data_array[dir_idx, file_idx]直接访问指定文件的数据
• 支持NumPy的切片、遍历操作（如用np.nditer批量处理所有数据）
• 内存管理与嵌套列表接近，但结构更规整，便于后续数据处理

方案2：字典+NumPy Object数组（语义化层级） #

如果更看重目录的语义化访问，可将目录名作为键，对应值为存储该目录下所有文件数据的一维object数组：

import glob
import h5py
import numpy as np

dir_list = ["dir1", "dir2"]

data_dict = {}
for dir_name in dir_list:
    file_list = glob.glob(f"{dir_name}/*.hdf5")
    # 为每个目录创建专属的object数组
    dir_data = np.empty(len(file_list), dtype=object)
    for file_idx, file_path in enumerate(file_list):
        with h5py.File(file_path, "r") as fid:
            dir_data[file_idx] = fid["data"][:]
    data_dict[dir_name] = dir_data

优势 #

• 层级关系更直观，通过data_dict["dir1"]即可获取对应目录下的所有数据
• 每个目录的数组长度恰好匹配文件数量，无冗余的None占位
• 便于按目录批量处理数据，扩展性更强

关键说明 #

由于数据长度可变，无法使用NumPy的同构数组（要求所有元素尺寸一致），因此object dtype数组是NumPy生态下的最优选择——它既保留了NumPy的结构优势，又能兼容变长数据的存储需求。

内容的提问来源于stack exchange，提问作者Patrick McCarthy