本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。
如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。
推荐授权场景如下所示:
团队 | 数据集权限 |
---|---|
运维团队 |
说明 运维团队拥有整个 vePFS 实例的管理权限后,可以控制所有数据,例如把数据团队清洗、预处理后的数据移动至算法团队目录,方便后续业务训练等。 |
数据团队 |
说明 您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额。 |
算法团队 |
说明 您可以为该目录设置固定的容量配额,减少资源浪费,详细说明,请参见设置 Fileset 配额。 |
已创建并挂载 vePFS 文件系统,具体步骤,请参见创建 vePFS 和挂载 vePFS。
根据业务规划,在 vePFS 创建 Fileset 并设置配额。
登录 vePFS 控制台。
在顶部菜单栏,选择目标文件系统所在地域。
在左侧导航栏选择文件系统 > 实例列表,在实例列表页面,单击目标文件系统名称。
创建 Fileset。
在实例概览页,单击 Fileset 页签。
在 Fileset 页签,单击创建 Fileset 。
在弹出的对话框中,设置相同参数,详细说明,请参见创建 Fileset。
说明
Fileset 路径为在文件系统中的绝对路径,以/
开头和结尾。
创建 Fileset 目录后,文件实际目录为挂载目录+ Fileset 目录
,例如 vePFS 的挂载路径为 /mnt/vepfs
,Fileset 路径为 /data/
,则最终路径为 /mnt/vepfs/data/
。
(可选)创建完成后,在 Fileset 页签,设置 Fileset 配额或 QoS。
单击需要设置配额或 QoS 的 Fileset 名称。
在弹出的面板中,根据需要设置参数,详细说明,请参见设置 Fileset 配额。
登录机器学习平台。
在左侧导航栏单击全局配置,配置 vePFS 部分。
单击绑定实例,在弹出的面板中选择需要绑定的 vePFS 实例,然后单击确定。
单击添加挂载权限,在弹出的面板中设置如下参数。
参数 | 说明 |
---|---|
vePFS实例 | 选择步骤 a 中绑定的 vePFS 实例。 |
授权目录 | 选择需要授权的目录,支持选择 vePFS 的根目录及 Fileset 子目录。 |
访问权限 | 选择授权目录的访问权限及范围,说明如下:
|
在左侧导航栏单击资源组,按需创建相应资源组。
在左侧导航栏单击队列管理,创建资源队列。
说明
创建资源队列时,负载类型需要选择开发机。
创建资源组的详细说明,请参见创建资源队列。
在左侧导航栏单击开发机,创建开发机。
说明
创建开发机时,共享文件系统挂载选择 vePFS,然后在下拉框中选择拥有对应权限的 Fileset。
创建资源组的详细说明,请参见创建开发机。
设置完成后,开发机仅可以访问被授权的 Fileset,其他数据将无法访问。您可以参考以下步骤查看挂载的 Fileset。
为了避免开发机释放数据丢失,建议您将开发机的数据均写入 Fileset。
执行 df -hT
命令,查看挂载的 Fileset。
返回示例如下,其中 ****-test
为 vePFS 实例名称,wzltest
为 Fileset 目录名称。