如何将跨多HDF5文件的Dask数组切片后保存为HDF5数据集？

我来帮你搞定这个Dask数组切片后保存HDF5的问题～首先得说你当前的代码其实有个小问题：直接用h5py的create_dataset传入Dask数组的话，会触发整个数组的一次性计算，把数据全加载到内存里，要是数据集很大的话很容易爆内存，而且没用到Dask的并行分块优势。咱们换更合适的方式来做：

如果你的数据源是多个HDF5文件，用Dask自带的da.from_hdf5就能直接读取，支持glob路径匹配，比如所有/data下的.h5文件里的data数据集：

import dask.array as da

# 加载多个HDF5文件的目标数据集
xs = da.from_hdf5('/data/*.h5', 'data')

这一步和普通NumPy数组切片完全一样灵活，比如取1D数组的第10到30个元素，或者2D数组的某几行几列：

# 1D数组切片示例
xs_sliced = xs[10:30]

# 2D数组切片示例（取第100-200行，所有列）
# xs_sliced = xs[100:200, :]

推荐两种方法，根据你的需求选：

方法一：最简单的da.to_hdf5 #

一行代码搞定，自动处理并行分块写入，不用手动管理HDF5文件对象：

da.to_hdf5('/tmp/paul/sliced_result.h5', '/ham', xs_sliced)

这里第一个参数是输出文件路径，第二个是要保存的数据集名称，第三个是切片后的Dask数组。

方法二：更灵活的da.store配合h5py #

如果需要设置压缩、分块大小等高级参数，用这个方法更合适：

import h5py

with h5py.File('/tmp/paul/sliced_result.h5', 'w') as f:
    # 先创建数据集，指定形状、数据类型，还可以加压缩参数节省空间
    dset = f.create_dataset(
        'ham',
        shape=xs_sliced.shape,
        dtype=xs_sliced.dtype,
        compression='gzip'  # 可选参数，按需开启
    )
    # 用da.store把Dask数组分块并行写入到HDF5数据集
    da.store(xs_sliced, dset)

你之前直接用h5f.create_dataset(data=xs)，本质上是让h5py把Dask数组当成普通NumPy数组处理，这会强制计算整个数组并加载到内存，对于大的跨文件数据集来说，既费内存又没用到Dask的并行优势。上面的两种方法都是分块并行写入，内存友好得多。

内容的提问来源于stack exchange，提问作者pletnes