如何使用xarray优化从GCS加载zarr文件/组的速度？

我在GCS上存储了一个zarr组数据库，每次使用xarray加载时，无论文件大小，耗时都超过5秒。我尝试通过调整分块参数和压缩库来优化存储，相关代码如下：

def _apply_zarr_encoding(ds):
    encoding = {}
    dtype = {v: "int32" for v in ds.data_vars}

    for data_var in ds.data_vars:
        encoding[data_var] = {
            "compressor": COMPRESSOR,
            "_FillValue": -32767,
        }
        encoding[data_var].update(
            {"dtype": dtype.get(data_var, "int32"), "scale_factor": 1e-3}
        )
        ds[data_var].encoding = {}

    return encoding

encoding = _apply_zarr_encoding(ds)
ds.to_zarr('gs://data.zarr', consolidated=True, encoding=encoding, mode="w", zarr_version=2)


%timeit xr.open_zarr('gs://data.zarr', chunks="auto", overwrite_encoded_chunks=True)
5.63 s ± 546 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

但从本地磁盘加载这些文件时速度极快：

%timeit xr.open_zarr('data.zarr', chunks="auto", overwrite_encoded_chunks=True)
9.05 ms ± 662 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)

请问是否可以通过压缩、编码或整合方式进一步优化，我是否有操作不当的地方？

一、操作中的潜在问题 #

• chunks="auto"的网络开销：在GCS环境下，chunks="auto"需要xarray远程读取每个数组的元数据来计算最优分块，会触发大量小HTTP请求，这是加载慢的核心原因之一。本地磁盘无网络延迟，所以这个开销可以忽略，但云环境下会被放大。
• 冗余的编码清空操作：你在_apply_zarr_encoding里清空ds[data_var].encoding的操作没有必要，to_zarr时指定的encoding参数会覆盖数据集本身的encoding，这步不影响性能，但属于冗余代码。

二、压缩与编码优化 #

• 更换高效压缩器：如果当前用的是zlib，建议换成blosc:lz4——它的压缩/解压速度远快于zlib，云环境下能同时降低CPU开销和数据传输量。示例：

from numcodecs import Blosc
COMPRESSOR = Blosc(cname='lz4', clevel=5, shuffle=Blosc.SHUFFLE)

• 评估缩放因子的必要性：如果用int32加scale_factor=1e-3是为了存储浮点数据，可考虑直接用float32存储（精度允许的前提下）。虽然占用空间略大，但加载时无需额外缩放计算，减少CPU开销，云环境下可能反而更快。

三、存储与加载流程优化 #

• 预定义分块，避免动态计算：存储时就设置好符合后续访问模式的分块（比如时序数据按时间维度分块），加载时直接使用存储的分块（chunks=None），省去远程计算分块的步骤：

# 存储时指定分块（示例按time、x、y维度分块）
ds.to_zarr(
    'gs://data.zarr', 
    consolidated=True, 
    encoding=encoding, 
    mode="w", 
    zarr_version=2,
    chunks={'time': 10, 'x': 100, 'y': 100}
)

# 加载时直接用存储的分块
%timeit xr.open_zarr('gs://data.zarr', chunks=None, overwrite_encoded_chunks=True)

• 启用GCS本地缓存：使用gcsfs的缓存功能，将元数据和常用数据块缓存到本地，减少重复远程请求：

import gcsfs
fs = gcsfs.GCSFileSystem(cache_timeout=3600)  # 缓存1小时
ds = xr.open_zarr(fs.get_mapper('gs://data.zarr'), chunks=None, consolidated=True)

• 确保元数据完全合并：重新执行元数据合并操作，避免加载时读取多个分散的元数据文件：

import zarr
store = zarr.DirectoryStore('gs://data.zarr')
zarr.consolidate_metadata(store)

内容的提问来源于stack exchange，提问作者m_montano