如何通过DVC将源文件与MD5文件一同推送到Azure存储容器

DVC默认采用内容寻址存储机制，会将文件按MD5哈希值重命名后存入本地缓存，再推送到远程的哈希结构目录中——这是DVC的核心设计，目的是实现重复数据删除、高效版本管理。如果需要将data目录中的原始文件（保留原路径结构）直接推送到Azure存储容器，可通过以下两种方式实现：

方法1：导出原始文件后上传（推荐） #

这种方法既保留DVC的版本管理能力，又能在Azure容器中获得原始文件结构：

• 从DVC缓存导出原始文件到本地临时目录：

  dvc export data/file1.pdf data/file2.pdf --out ./exported_data
  

  执行后，./exported_data目录下会生成与data目录一致的文件结构和原始文件。
• 使用Azure官方工具azcopy上传到目标容器：

  azcopy copy "./exported_data/*" "https://<你的存储账户名>.blob.core.windows.net/container_name/目标子路径" --recursive
  

  替换命令中的<你的存储账户名>和目标子路径为实际信息即可。

方法2：绕过DVC缓存直接推送（不推荐） #

此方法会失去DVC的重复数据删除、版本追溯等核心优势，仅适用于特殊场景：

1. 用Azure Blob FUSE将目标容器挂载到本地目录（比如./azure_mount）。
2. 创建DVC远程指向挂载目录：

   dvc remote add azure_raw ./azure_mount
   

3. 将文件添加到DVC并指定输出到远程挂载目录：

   dvc add data/file1.pdf data/file2.pdf --out ./azure_mount/data --no-commit
   

4. 提交并推送到远程：

   dvc commit
   dvc push -r azure_raw
   

   执行后，原始文件会按原路径直接存入Azure容器。

内容的提问来源于stack exchange，提问作者question.it