本文介绍数据流动时目录配置的典型示例供您参考。

预热任务

通过配置目录预热

• 假定配置前提：
  • vePFS 在客户端节点挂载目录为 /mnt/vepfs。
  • 数据流动路径已按照如下配置：
    • 文件系统路径配置：/dataset。
    • 对象存储路径配置：/bucket/prefix。
• 流动前后的文件结构为：

  • 对象 bucket 中存在如下对象：

    /bucket/prefix/a/b/c/file-001
    

  • 预热完成后，在 vePFS 客户端节点查看，预热的文件路径如下：

    /mnt/vepfs/dataset/a/b/c/file-001
    

通过文件列表预热

• 假定配置前提：
  • vePFS 在客户端节点挂载目录为 /mnt/vepfs。
  • 数据流动路径已按照如下配置：
    • 文件系统路径配置：/dataset。
    • 对象存储路径配置：/bucket/prefix。
• 流动前后的文件结构为：

  • 对象 bucket 中存在如下对象：

    /bucket/prefix/a/b/c/file-001
    /bucket/prefix/a/b/c/file-002
    /bucket/prefix/a/b/c/file-003
    

  • 指定的对象列表按如下填写：

    prefix/a/b/c/file-001
    prefix/a/b/c/file-002
    prefix/a/b/c/file-003
    

  • 预热完成后，在 vePFS 客户端节点查看，预热的文件路径如下：

    /mnt/vepfs/dataset/a/b/c/file-001
    /mnt/vepfs/dataset/a/b/c/file-002
    /mnt/vepfs/dataset/a/b/c/file-003
    

沉降任务

通过配置目录沉降

• 假定配置前提：
  • vePFS 在客户端节点挂载目录为 /mnt/vepfs。
  • 数据流动路径已按照如下配置：
    • 文件系统路径配置：/dataset。
    • 对象存储路径配置：/bucket/prefix。
• 流动前后的文件结构为：

  • vePFS 中存在如下文件：

    /mnt/vepfs/dataset/a/b/c/file-001
    

  • 沉降完成后，在 TOS 侧查看，沉降的文件路径如下：

    /bucket/prefix/a/b/c/file-001
    

通过文件列表沉降

• 假定配置前提：
  • vePFS 在客户端节点挂载目录为 /mnt/vepfs。
  • 数据流动路径已按照如下配置：
    • 文件系统路径配置：/dataset。
    • 对象存储路径配置：/bucket/prefix。
• 流动前后的文件结构为：

  • 指定的文件列表按如下填写：

    /dataset/a/b/c/file-001
    /dataset/a/b/c/file-002
    /dataset/a/b/c/file-003
    

  • 沉降完成后，在 TOS 侧查看，对应的对象路径如下：

    /bucket/prefix/a/b/c/file-001
    /bucket/prefix/a/b/c/file-002
    /bucket/prefix/a/b/c/file-003