You need to enable JavaScript to run this app.
文档中心
文件存储 vePFS

文件存储 vePFS

复制全文
下载 pdf
最佳实践
使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理
复制全文
下载 pdf
使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理

本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。

适用场景

如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。
推荐授权场景如下所示:
Image

团队

数据集权限

运维团队

  • 公共数据集 /public :读写权限
  • vePFS 完整管理权限(即 / 目录读写权限)

说明

运维团队拥有整个 vePFS 实例的管理权限后,可以控制所有数据,例如把数据团队清洗、预处理后的数据移动至算法团队目录,方便后续业务训练等。

数据团队

  • 公共数据集 /public :只读权限
  • /data :目录读写权限

说明

您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额与 QoS

算法团队

  • 公共数据集 /public :只读权限
  • /algorithm :目录读写权限

说明

您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额与 QoS

前提条件

已创建并挂载 vePFS 文件系统,具体步骤,请参见创建 vePFS挂载 vePFS

配置流程

Image

操作步骤

步骤一:在 vePFS 创建 Fileset

根据业务规划,在 vePFS 创建 Fileset 并设置配额。

  1. 登录 vePFS 控制台
  2. 在顶部菜单栏,选择目标文件系统所在地域。
  3. 在左侧导航栏选择文件系统 > 实例列表,在实例列表页面,单击目标文件系统名称。
  4. 创建 Fileset。
    1. 在实例概览页,单击 Fileset 页签。
    2. Fileset 页签,单击创建 Fileset
    3. 在弹出的对话框中,设置相同参数,详细说明,请参见创建 Fileset

    说明

    • Fileset 路径为在文件系统中的绝对路径,以/开头和结尾。
    • 创建 Fileset 目录后,文件实际目录为挂载目录+ Fileset 目录,例如 vePFS 的挂载路径为 /mnt/vepfs,Fileset 路径为 /data/,则最终路径为 /mnt/vepfs/data/
  5. (可选)创建完成后,在 Fileset 页签,设置 Fileset 配额或 QoS。
    1. 单击需要设置配额或 QoS 的 Fileset 名称。
    2. 在弹出的面板中,根据需要设置参数,详细说明,请参见设置 Fileset 配额

步骤二:配置机器学习平台

  1. 登录机器学习平台。

  2. 在左侧导航栏单击全局配置,配置 vePFS 部分。

    1. 单击绑定实例,在弹出的面板中选择需要绑定的 vePFS 实例,然后单击确定。
    2. 单击添加挂载权限,在弹出的面板中设置如下参数。

    参数

    说明

    vePFS实例

    选择步骤 a 中绑定的 vePFS 实例。

    授权目录

    选择需要授权的目录,支持选择 vePFS 的根目录及 Fileset 子目录。
    如果您需要授权新的目录,您可以参考步骤一创建。

    访问权限

    选择授权目录的访问权限及范围,说明如下:

    • 访问权限:支持读写权限只读权限
    • 授权范围:支持授权主账号内所有成员指定范围内成员, 指定范围支持指定子用户指定用户组指定队列
    1. 设置完成后,单击确认
  3. 在左侧导航栏单击资源组,按需创建相应资源组。

    说明

  4. 在左侧导航栏单击队列管理,创建资源队列。

    说明

    • 创建资源队列时,负载类型需要选择开发机
    • 创建资源组的详细说明,请参见创建资源队列
  5. 在左侧导航栏单击开发机,创建开发机。

    说明

    • 创建开发机时,共享文件系统挂载选择 vePFS,然后在下拉框中选择拥有对应权限的 Fileset。
    • 创建资源组的详细说明,请参见创建开发机

步骤三:查看开发机挂载的 Fileset

设置完成后,开发机仅可以访问被授权的 Fileset,其他数据将无法访问。您可以参考以下步骤查看挂载的 Fileset。
为了避免开发机释放数据丢失,建议您将开发机的数据均写入 Fileset。

  1. 登录开发机
  2. 执行 df -hT 命令,查看挂载的 Fileset。
    返回示例如下,其中 ****-test 为 vePFS 实例名称,wzltest 为 Fileset 目录名称。

Image

最近更新时间:2024.10.24 15:00:13
这个页面对您有帮助吗?
有用
有用
无用
无用