如何初始化超出可用内存的Zarr文件？

嗨，我之前处理过超大维度的科研数据，刚好碰到过一模一样的问题，给你两个适配你当前库版本（zarr 2.18.4、xarray 2025.1.2）的实用方案：

方案一：用Xarray创建空Dataset初始化（推荐，贴合你的现有工作流） #

你不需要生成实际的全量数据，只需要定义好维度、数据类型和分块规则，创建一个空的Dataset就能初始化Zarr文件，完全不会占用大量内存：

import xarray as xr
import numpy as np

# 先定义你的维度名称和对应大小
dim_names = ('dim0', 'dim1', 'dim2', 'dim3', 'dim4', 'dim5')
dim_shape = (6, 36, 2, 13, 699, 1920)

# 创建空的DataArray，用np.empty只是占个位置，不会填充实际数据
empty_data = xr.DataArray(
    np.empty(dim_shape, dtype='float32'),
    dims=dim_names
)

# 包装成空的Dataset，把your_data_var替换成你的实际变量名
empty_ds = xr.Dataset({'your_data_var': empty_data})

# 初始化Zarr文件，mode='w'表示新建，chunks按需设置（建议每个chunk控制在几十MB）
empty_ds.to_zarr('data.zarr', mode='w', chunks=(1, 6, 1, 1, 100, 200))

初始化完成后，你就可以继续用原来的ds.to_zarr('data.zarr', region=region)代码分块写入数据了。

方案二：直接用Zarr库创建空数组（更底层，适合不需要Xarray结构的场景） #

如果你想跳过Xarray直接操作Zarr，也可以直接创建一个空的Zarr数组，同样不会占内存：

import zarr

# 直接创建Zarr数组，指定存储路径、形状、数据类型和分块
zarr_array = zarr.open(
    'data.zarr/your_data_var',
    mode='w',
    shape=(6, 36, 2, 13, 699, 1920),
    dtype='float32',
    chunks=(1, 6, 1, 1, 100, 200)
)

之后你可以直接用Zarr的区域写入方法，或者再把这个数组包装成Xarray的DataArray来使用。

几个小提醒： #

• 分块大小很重要：尽量把每个chunk的大小控制在几十MB（比如float32类型，100*200的切片再乘其他维度，大概几十MB），太大的话写入时还是会占内存，太小会影响读写性能。
• 如果你的Dataset有多个变量，只需要在空Dataset里添加对应的空DataArray即可，Xarray会自动为每个变量创建对应的Zarr存储。
• 你用的库版本完全兼容这些方法，不用担心版本问题。

备注：内容来源于stack exchange，提问作者AMA