如何提升Zarr文件读取速度？小文件读取缓慢问题求助

问题背景 #

我正在使用xarray和Dask处理地理空间数据，因内存限制需按年份处理数据。现有一个约2TB的大文件uv_ds_120m_with_density，其属性如下：

Dimensions:  (Time: 525936, south_north: 453, west_east: 630)
Coordinates:
  * Time (Time) datetime64[ns] 1990-01-01 ... 2019-12-31T23:30:11
    lat  (south_north, west_east) float32 dask.array<chunksize=(227, 315), meta=np.ndarray>
    lon  (south_north, west_east) float32 dask.array<chunksize=(227, 315), meta=np.ndarray>
Dimensions without coordinates: south_north, west_east
Data variables:
    RHO (Time, south_north, west_east) float32 dask.array<chunksize=(360, 29, 79), meta=np.ndarray>
    U   (Time, south_north, west_east) float32 dask.array<chunksize=(360, 29, 79), meta=np.ndarray>
    V   (Time, south_north, west_east) float32 dask.array<chunksize=(360, 29, 79), meta=np.ndarray>

我按如下代码提取2005年子集并计算功率曲线，导出为Power_2005.zarr：

datasets = []

for i in range(2005,2006):
    for j in range(1,13):
        print (f'{i}-{j}')

        # Taking a subset of this dataset to process
        subset = ds.sel(Time=slice(f'{i}-{j}',f'{i}-{j}'))
        # Wind Speed calculation
        ws = np.sqrt(np.square(subset.U) + np.square(subset.V))

        # Define the chunk size for each dimension
        chunk_size = {'Time': 100, 'south_north': -1, 'west_east': -1}

        # Chunk the dataset using Dask
        ds_chunked = subset.chunk(chunk_size)

        # Perform the calculation for each chunk (now in a lazy manner)
        ws = np.sqrt(np.square(ds_chunked.U) + np.square(ds_chunked.V))
        WH = np.ceil(ws * 2) / 2
        WL = np.floor(ws * 2) / 2
        Rho_H = (np.ceil(ds_chunked.RHO * 40) / 40)
        Rho_L = (np.floor(ds_chunked.RHO * 40) / 40)

        WH = WH.where(WH > 3.0, 0)
        WH = WH.where(WH < 24.5, 24.5)
        WL = WL.where(WL > 3, 0)
        WL = WL.where(WL < 24.5, 24.5)

        Rho_L = Rho_L.where(Rho_L > 0.95, 0.95)
        Rho_L = Rho_L.where(Rho_L < 1.275, 1.275)
        Rho_L = Rho_L.astype(str)

        # Assuming da is already defined and it's a lookup table
        power = da.sel(row=WH, column=Rho_L)
        power = (power / 2)
        power.name = 'Power_Curve'
        power_curve_dataset = power.to_dataset()

        # Append each month's dataset to the list
        datasets.append(power_curve_dataset)

#Concatenate all datasets along the 'Time' dimension
ds_combined = xr.concat(datasets[0:12], dim='Time')

# Save to Zarr store on disk instead of persisting to memory
ds_combined.to_zarr("S://Power_by_year//Power_2005.zarr", mode='w')

读取原大文件速度很快，但读取这个更小的Power_2005.zarr却耗时极长，请问原因是什么？如何优化？

原因分析 #

• 不合理的分块策略：处理时将Time维度设为100个时间步长为一块，地理空间维度south_north和west_east设为整块，导致单个Zarr块体积约110MB，远超Zarr推荐的10-100MB最优范围上限。读取时需一次性加载整块，大幅增加IO开销。
• 分块碎片化：按月处理后拼接的方式，导致最终Zarr文件的时间维度分块不连续，存在大量小分块，增加了文件系统的元数据读取与管理成本。
• 低效的数据类型：Rho_L被转为字符串类型存储，字符串数据在Zarr中占用更多空间且读取效率远低于数值类型，额外加重IO负担。
• 存储介质限制：存储路径S://大概率是网络共享存储，网络IO延迟高于本地磁盘，大分块会进一步放大这种延迟。

优化方案 #

1. 调整均衡的分块策略 #

设置每个Zarr块体积落在10-100MB范围内，例如：

chunk_size = {'Time': 200, 'south_north': 150, 'west_east': 210}

该配置下单个块体积约25MB，符合最优区间。在生成每个月的数据集后就统一分块，避免拼接后分块混乱：

# 替换原datasets.append(power_curve_dataset)
power_curve_dataset = power_curve_dataset.chunk(chunk_size)
datasets.append(power_curve_dataset)

2. 避免按月处理的碎片化 #

直接按年份筛选数据后统一处理，减少中间拼接步骤：

year_subset = ds.sel(Time=slice('2005-01', '2005-12')).chunk(chunk_size)
ws = np.sqrt(np.square(year_subset.U) + np.square(year_subset.V))
# 后续WH、WL、Rho_H、Rho_L等计算直接基于year_subset
# ... 其余计算步骤 ...
power_curve_dataset = power.to_dataset()
power_curve_dataset.to_zarr("S://Power_by_year//Power_2005.zarr", mode='w', consolidated=True)

3. 替换字符串类型存储 #

将Rho_L保留为数值类型（如float32）参与查找，若必须使用字符串索引，可预先建立映射用数值索引替代：

# 假设da的column是字符串类型，建立字符串到数值的映射
rho_str_map = {val: idx for idx, val in enumerate(da.column.values)}
# 将Rho_L转为数值索引
Rho_L_num = xr.apply_ufunc(lambda x: rho_str_map[str(x)], Rho_L, vectorize=True)
# 使用数值索引查找
power = da.isel(column=Rho_L_num)

4. 优化Zarr元数据与存储 #

• 写入Zarr时启用consolidated=True，生成合并的元数据文件，减少读取时的元数据请求次数：

ds_combined.to_zarr("S://Power_by_year//Power_2005.zarr", mode='w', consolidated=True)

读取时同样指定该参数：

xr.open_zarr("S://Power_by_year//Power_2005.zarr", consolidated=True)

• 若使用网络存储，优先将Zarr文件写入本地磁盘，再同步到网络存储；读取时可缓存到本地临时目录，降低网络IO延迟。

5. 移除冗余计算 #

删除代码中重复的ws计算步骤（第一个基于subset的ws计算无实际作用），减少不必要的资源消耗。

内容的提问来源于stack exchange，提问作者Tayla Corney