You need to enable JavaScript to run this app.
导航

使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理

最近更新时间2024.01.04 15:49:26

首次发布时间2023.11.30 20:47:22

本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。

适用场景

如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。
推荐授权场景如下所示:
alt

团队数据集权限

运维团队

  • 公共数据集 /public :读写权限

  • vePFS 完整管理权限(即 / 目录读写权限)

说明

运维团队拥有整个 vePFS 实例的管理权限后,可以控制所有数据,例如把数据团队清洗、预处理后的数据移动至算法团队目录,方便后续业务训练等。

数据团队

  • 公共数据集 /public :只读权限

  • /data :目录读写权限

说明

您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额

算法团队

  • 公共数据集 /public :只读权限

  • /algorithm :目录读写权限

说明

您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额

前提条件

已创建并挂载 vePFS 文件系统,具体步骤,请参见创建 vePFS挂载 vePFS

配置流程

alt

操作步骤

步骤一:在 vePFS 创建 Fileset

根据业务规划,在 vePFS 创建 Fileset 并设置配额。

  1. 登录 vePFS 控制台

  2. 在顶部菜单栏,选择目标文件系统所在地域。

  3. 在左侧导航栏选择文件系统 > 实例列表,在实例列表页面,单击目标文件系统名称。

  4. 创建 Fileset。

    1. 在实例概览页,单击 Fileset 页签。

    2. Fileset 页签,单击创建 Fileset

    3. 在弹出的对话框中,设置相同参数,详细说明,请参见创建 Fileset

    说明

    • Fileset 路径为在文件系统中的绝对路径,以/开头和结尾。

    • 创建 Fileset 目录后,文件实际目录为挂载目录+ Fileset 目录,例如 vePFS 的挂载路径为 /mnt/vepfs,Fileset 路径为 /data/,则最终路径为 /mnt/vepfs/data/

  5. (可选)创建完成后,在 Fileset 页签,设置 Fileset 配额或 QoS。

    1. 单击需要设置配额或 QoS 的 Fileset 名称。

    2. 在弹出的面板中,根据需要设置参数,详细说明,请参见设置 Fileset 配额

步骤二:配置机器学习平台

  1. 登录机器学习平台。

  2. 在左侧导航栏单击全局配置,配置 vePFS 部分。

    1. 单击绑定实例,在弹出的面板中选择需要绑定的 vePFS 实例,然后单击确定。

    2. 单击添加挂载权限,在弹出的面板中设置如下参数。

    参数说明
    vePFS实例选择步骤 a 中绑定的 vePFS 实例。

    授权目录

    选择需要授权的目录,支持选择 vePFS 的根目录及 Fileset 子目录。
    如果您需要授权新的目录,您可以参考步骤一创建。

    访问权限

    选择授权目录的访问权限及范围,说明如下:

    • 访问权限:支持读写权限只读权限

    • 授权范围:支持授权主账号内所有成员指定范围内成员, 指定范围支持指定子用户指定用户组指定队列

    1. 设置完成后,单击确认
  3. 在左侧导航栏单击资源组,按需创建相应资源组。

    说明

  4. 在左侧导航栏单击队列管理,创建资源队列。

    说明

    • 创建资源队列时,负载类型需要选择开发机

    • 创建资源组的详细说明,请参见创建资源队列

  5. 在左侧导航栏单击开发机,创建开发机。

    说明

    • 创建开发机时,共享文件系统挂载选择 vePFS,然后在下拉框中选择拥有对应权限的 Fileset。

    • 创建资源组的详细说明,请参见创建开发机

步骤三:查看开发机挂载的 Fileset

设置完成后,开发机仅可以访问被授权的 Fileset,其他数据将无法访问。您可以参考以下步骤查看挂载的 Fileset。
为了避免开发机释放数据丢失,建议您将开发机的数据均写入 Fileset。

  1. 登录开发机

  2. 执行 df -hT 命令,查看挂载的 Fileset。

    返回示例如下,其中 ****-test 为 vePFS 实例名称,wzltest 为 Fileset 目录名称。