AI 数据湖服务(LAS)提供多种存储优化功能,通过快照清理等能力帮助用户提升查询性能,优化存储资源。以下是存储优化功能中快照清理功能的详细说明及操作指南。
当前仅支持 Lance 和 Iceberg 类型的表使用存储优化-快照清理功能。
登录 LAS 控制台,在顶部左上角根据实际情况选择地域,在左侧导航栏选择 湖管理 > 元数据,选择对应的 数据库 > 数据表,进入数据表列表页面。
选择目标表,进入表详情 > 存储优化界面,并打开快照清理功能,并配置快照清理的参数。
参数 | 配置说明 |
|---|---|
资源分配 | 设置为当前快照清理任务分配的资源CU数。 |
快照保留策略 | 设置快照保留的时间范围,超时快照后续即会在优化任务执行时被清理。 |
周期调度 | 选择是否需要打开周期调度的开关。
|
终止前一个优化任务 | 设置是否强制终止前序优化任务。打开开关后,在每次调度任务执行时强制终止前一个优化任务。 |
自定义配置 | 根据需要配置快照清理任务运行过程中涉及的自定义参数。详情请参见下文的参考:自定义参数说明。 |
支持配置的 Iceberg 自定义参数如下。
自定义参数 | 参数说明 |
|---|---|
older_than | 指定早于该时间戳的快照可被清理; |
retention_days | 快照保留的天数; |
max_concurrent_deletes | 删除文件时允许的最大并发数; |
stream_results | 是否流式返回待删除文件列表以降低内存占用; |
snapshot_ids | 显式指定要清理的快照 ID 列表。 |
支持配置的 Lance 自定义参数如下。
自定义参数 | 参数说明 |
|---|---|
error_if_tagged_old_versions | 当待清理范围内存在被“打标签”的旧版本时是否报错并中断,避免误删被标记保留的版本 |
完成快照清理功能开启配置后,您可以在快照清理页面手动触发优化任务执行,也可查看优化记录和效果。