将Zarr文件夹上传至Azure Blob容器遇到问题求助

问题原因分析 #

你的代码存在两个核心问题：

1. 仅上传最内层文件：zarr.open(file_path)返回的是单个Zarr数组/组，而zarr.save()只会保存这个节点的内容，不会递归复制整个本地Zarr文件夹的层级结构。
2. 误删容器其他内容：zarr.save()默认会调用目标存储的clear()方法清空所有已有内容，再加上你把ABSStore的prefix设为'/'（容器根目录），直接导致容器内其他文件被删除。

另外你担心的“递归上传丢失Zarr属性”确实存在，但用Zarr官方的存储复制方法可以彻底避免这个问题。

修复后的代码 #

def upload_zarr(file_path):
    credential = env_vars['STORAGE_ACCOUNT_KEY']
    container_client = ContainerClient(account_url='https://<account-name>.blob.core.windows.net',
                                      container_name='data',
                                      credential=credential)
    # 包装本地Zarr文件夹存储，正确识别完整结构
    local_store = zarr.DirectoryStore(file_path)
    # 指定Azure存储的前缀（避免操作容器根目录，防止误删其他内容）
    remote_store = zarr.ABSStore(client=container_client, prefix='my-zarr-dataset/')
    
    # 完整复制整个Zarr存储结构，保留所有元数据和层级关系
    zarr.copy_store(local_store, remote_store, overwrite=False)
    print("finished writing to Azure")

关键优化说明 #

• DirectoryStore包装本地路径：让Zarr正确识别类文件夹结构的完整存储，而非仅读取单个数组。
• 设置专属prefix：将Zarr内容上传到容器内的指定子路径下，彻底隔离其他文件，避免误操作。
• 使用zarr.copy_store：这是Zarr官方提供的存储复制方法，会递归复制所有组、数组和元数据，完全保留Zarr的属性；overwrite=False确保不会覆盖目标路径下已有的内容（需要覆盖可改为True，但需谨慎操作）。

内容的提问来源于stack exchange，提问作者Minh Phan