LAS生命周期管理使用手册--AI 数据湖服务-火山引擎

文档中心

立即注册

导航

LAS生命周期管理使用手册

最近更新时间：2025.08.26 11:54:30首次发布时间：2025.08.26 11:54:30

功能介绍

目标用户

本功能主要面向需要高效管理 vePFS 存储中海量、细粒度Lance数据集的用户及运维团队。

功能简介

随着业务发展，vePFS中积累的数据量日益庞大，传统的人工数据巡检、统计和清理方式不仅效率低下，而且在面对海量细粒度的目录时，存在极高的误删风险。LAS生命周期管理模块旨在解决这一痛点，提供一套自动化、精细化的数据生命周期管理解决方案。它能够帮助用户建立智能的生命周期管理机制，从而替代繁琐且高风险的人工操作，确保数据在全生命周期内得到有效管理，并显著降低因手动误操作带来的数据安全风险。

核心能力

自动化规则执行：用户可以根据业务需求，灵活配置汰换规则。系统将基于这些规则，自动对vePFS存储中的数据执行清理操作。
智能化汰换触发：系统能够根据存储使用率（水位）以及数据访问策略（如最后访问时间、访问频次）等条件，智能判断并触发汰换任务，确保存储空间的高效利用。
精细化任务追踪：提供详尽的任务执行历史、状态追踪及操作日志，方便用户审计和问题排查。

前置操作与配置

在使用生命周期管理功能前，请务必完成以下前置配置，否则将导致功能无法正常运行。

挂载服务确认

请确保您的vePFS文件系统满足以下条件：

已关联挂载服务：目标vePFS文件系统必须已经关联了挂载服务。
客户端管理节点配置：
- 客户端管理节点需使用默认密码。
- 客户端管理节点必须已安装或支持安装云助手（ECS Assistant）。

Lance SDK 更新

生命周期管理功能依赖于Lance SDK的数据访问追踪能力。请确保您使用的Lance SDK已更新至 0.32 或更高版本。新版SDK的 trace 功能是实现数据访问信息上报的基础。

说明

数据集的uri需要是文件系统的绝对路径。

环境变量配置

为了让Lance SDK能够正确与LAS后端服务通信，您需要在执行训练任务或数据处理任务的环境中配置以下环境变量。

环境变量	变量值	是否必须	说明
`LANCE_LOG`	`info`	是	设置SDK日志级别，必须为`info`以启用追踪功能。
`LANCE_SDK_AK`	`akxxx`	是	您的访问密钥ID (Access Key ID)。
`LANCE_SDK_SK`	`skxxx`	是	您的访问密钥 (Secret Access Key)。
`LANCE_SDK_REGION`	`cn-beijing`	否	您访问汰换服务所在的区域，默认为 `cn-beijing`。

核心功能与操作

创建与管理汰换规则

汰换规则是生命周期管理功能的核心，定义了系统何时（When）、对什么（What）以及如何（How）执行数据清理。

创建汰换规则

进入LAS控制台，在左侧导航栏选择“生命周期管理”。
点击“创建规则”按钮，进入规则配置界面。

参数详解:

规则名称 (RuleName): 为您的规则指定一个易于识别的名称。此为必填项。
规则描述 (Description): 对规则的详细说明，方便后续管理。此为可选项。
存储介质 (StorageMedium): 指定汰换目标的存储类型。目前仅支持 vePFS。
vePFS路径 (VepfsPaths):
- 文件系统ID (FileSystemId): 选择要应用此规则的vePFS文件系统实例。此为必填项。
- 目录路径 (Path): 指定要清理的目录（例如 /data/images/）。此为必填项。
水位设置 (Watermark):
- 高水位 (HighWatermark): 当文件系统存储使用率达到此阈值时，自动触发汰换任务。例如，设置为80%。此为必填项。
- 低水位 (LowWatermark): 汰换任务执行过程中，当存储使用率降低到此阈值时，任务将自动停止。若不设置，则会清理所有符合条件的数据。此为可选项。
生效策略 (Policy): 定义需要被汰换的数据集应满足的条件。
- 逻辑关系 (Operator):
  - AND: 数据集必须同时满足所有条件才会被汰换。
  - OR: 数据集满足任意一个条件即会被汰换。
- 条件:
  - 最后访问时间 (LastAccessInDay): 指定N天前被访问过的数据集。
  - 访问频次 (AccessFrequency): 指定总访问次数小于N次的数据集。
脏数据处理 (SkipDirtyData):
- 是: 在汰换过程中如果遇到错误（如文件无权限），跳过该错误并继续执行。
- 否: 遇到任何错误立即停止任务。