功能发布记录--AI 数据湖服务-火山引擎

文档中心

导航

功能发布记录

最近更新时间：2025.11.28 14:34:56首次发布时间：2024.12.16 19:41:35

2025年11月

功能模块	功能说明	发布地域
开发机	开发机和任务支持挂载 NAS 文件系统。通过 FSX 协议服务的方式，以共享文件系统的形式挂载到开发机和任务优化开发机和任务对 vePFS 文件系统的挂载。支持 FSX 协议服务，同时兼容挂载服务的方式开发机支持更换镜像，支持开发机在关机状态下更换开发机的镜像，用户可选更换内置镜像、自定义镜像、火山引擎镜像和镜像 URL，提升开发机使用的灵活性	华北2（北京）、华东2（上海）、亚太东南（柔佛）
资源管理	队列支持展示 GPU 相关监控指标，包括 GPU 使用率、GPU 使用量等，便于用户观测 GPU 队列的资源使用情况
LAS Agent	说明本功能为邀测功能，有需要请通过提工单的方式，联系火山引擎技术支持人员。 Agent 主要具备两大能力：知识问答，支持对多模态数据预处理进行知识检索代码生成，根据用户输入 prompt 自动生成多模态数据处理流程以及代码，支持文本处理、图片处理、音频理解、视频理解四个场景
数据集	数据集共享功能，支持设置共享有效期，便于限制数据访问时长，降低权限风险；支持跨租户子账号共享，扩展共享范围推理数据集查询性能优化数据集新增权限管理功能，支持管理和只读两种权限，满足不同用户角色的使用需求，同时保障数据安全
算子广场	新增支持 28 个算子，主要包括图片内容理解模型和视频内容理解（Qwen VL 系列模型）、图片内容理解（LLaVA 系列模型）、文本 embedding（BGE 模型）、音频处理等

2025年10月

功能模块	功能说明	发布地域
体验中心	LAS 数据湖服务上线火山AI体验中心，支持多模态数据处理，支持自然语言生成代码、一键试运行并可调优	华北2（北京）、华东2（上海）、亚太东南（柔佛）
数据广场	算子广场新增豆包文本向量化算子、音频内容理解算子、多语言文本翻译算子、生成 TOS 的普通预签名算子、音频文件大小计算算子、视频片段切分（时长）算子等算子广场下线2个算子，深度思考（Deepseek-R1-distill-qwen-32b）和深度思考（Deepseek-R1-distill-qwen-7b）说明详细内容请参考：0.5.21 版本。
数据集	CSV、JSONL、Parquet 格式的数据集支持 SQL 查询数据集支持按公开/私有、我创建的/全部数据集进行筛选
数据处理	开发机支持用户自定义开通非ssh的端口开发机支持用户配置和选择第三方镜像开发机的高级网络配置默认过滤火山引擎官网服务安全组，并自动在用户选择的安全组中添加`100.0.64.0/10`地址的放开规则任务管理支持默认填充 daft 环境变量任务管理新增任务提交阶段的日志和关键事件
湖管理	湖管理支持 Iceberg 的快照清理功能，通过可配置的清理策略、资源分配和调度周期，帮助用户实现 Iceberg 表的自动治理，淘汰过期的快照文件，降低存储成本湖管理支持 Iceberg 的孤立文件清理功能，支持帮助用户自动删除不再被 Iceberg 表引用的物理文件，降低存储成本、提升表性能，避免数据堆积问题

2025年9月

功能模块	功能说明	发布地域
数据集管理	新增数据集共享功能，支持将当前用户的数据集分享给另一个租户的主账号。此功能为白名单功能，有需要请通过提工单的方式，联系火山引擎技术支持人员	华北2（北京）、华东2（上海）、亚太东南（柔佛）
数据处理	任务管理与工作流支持在执行时动态填写任务所需参数优化任务管理 TOS 挂载功能，提交时校验 ak/sk 和 tos 路径的有效性开发机 SSH 网络模式新增共享网络模式，LAS 提供公网 IP 进行 SSH 登陆，无需用户手动开通和挂载 CLB（负载均衡）配置独占网络模式时，自动过滤系统安全组，避免数据处理选中不可修改规则的系统安全组工作流支持作业启动时输入命令，便于工作流运行时快速更新参数工作流支持启动时统一设置全局环境变量，全局环境变量会被注入流程所有作业节点，同名变量将被覆盖
湖管理	支持可视化创建 Paimon 表与 Iceberg 表；其中，Paimon 支持在 Catalog 中创建 Paimon 主键表（PK 表）和 Append 表

2025年8月

功能模块	功能说明	发布地域
概览	概览页优化，增加数据处理流程引导	华北2（北京）、华东2（上海）、亚太东南（柔佛）
数据广场	全面支持方舟大模型，包括视觉理解、多模态深度思考、文本生成、多模态 embedding 等新增支持 Qwen 多模态理解模型新增文本、文档处理、图像类、音频、视频等多类算子
数据集	数据集支持对文本、图像、音视频等非结构化数据和结构化表格数据进行管理数据集支持 parquet、csv、Iceberg、lance 等格式支持对数据集进行文件语义和数据语义双重管理支持对数据集进行可视化探查，针对湖格式数据集，支持sql查询支持对数据集进行公开、非公开权限管理支持按模态、格式、标签、大小、样本数等属性对数据集进行筛选
数据处理	任务周期调度增加并发度参数配置，便于缩短整体执行时间，提升资源利用率任务管理和工作流支持重试功能开发机支持自动安装sshd程序，提升用户使用体验自定义镜像任务功能增强，支持 python 代码包（含完整依赖）的提交和执行实例管理列表字段优化，开始时间与运行时间合并，增加定制列功能，用户可以自定义展示选择的列表字段
湖管理	元数据支持按名称检索 catalog，方便用户查找目标 catalog。存储优化支持 Iceberg 表进行小文件合并，通过持续小文件合并可以提升存储利用率、获取更优的查询性能发布标量索引管理的 OpenAPI，支持创建标量索引、删除标量索引和查看索引管理列表支持基于 vePFS 的 Lance 数据集的数据汰换功能。支持用户自定义存储使用率的水位线，根据水位线自动进行汰换任务的启动和停止。帮助用户降低手动管理数据集的人力成本和误删除风险。此功能为白名单功能，有需要请通过提工单的方式，联系火山引擎技术支持人员
新Region发布	亚太东南（柔佛）Region 发布，欢迎体验

2025年7月

功能模块	功能说明	发布地域
功能优化	开发机/任务管理包含所有 NVIDIA 库。	华北2（北京）、华东2（上海）
	任务管理入口命令长度由1000变更为5000。
	任务管理 Daft 任务类型图标调整。
	工作流支持复制，可以基于主账号下其他子账号创建的工作流复制成自己的工作流并进行开发。
	新增1个视频算子及3个音频算子。（需使用 Daft post4镜像版本）视频中抽取音频音频切分（基于时长）音频端点识别音频标准化
产品开通	产品开通、功能开白范围优化。企业认证用户可以体验全部LAS功能，无需开白处理。个人认证用户可体验数据集和湖管理相关能力。
数据集	权限管控优化，数据集支持公开/非公开的可见性配置。公开数据集：同一主账号下的其他子账号均可以看到并使用。非公开数据集：仅创建者本人及主账号可见并操作。
算子广场	新增支持豆包大模型1.6，更强的多模态理解能力、推理能力。 Doubao-Seed-1.6-flash：推理速度极致的多模态深度思考模型，TPOT 仅需10ms；同时支持文本和视觉理解，文本理解能力超过上一代lite，视觉理解比肩友商pro系列模型。 Doubao-Seed-1.6：全新多模态深度思考模型，同时支持auto/thinking/non-thinking三种思考模式。 non-thinking 模式下，模型效果对比Doubao-1.5-pro/250115大幅提升。 Doubao-Seed-1.6-thinking：模型思考能力大幅强化，对比Doubao-1.5-thinking-pro，在 Coding、Math、逻辑推理等基础能力上进一步提升，支持视觉理解。
API Key管理	在模型调用中，API Key 用于身份认证和授权，用户可以在产品页面进行 API Key 的创建与管理，并在开发中指定 API Key 进行模型的调用。
Region	新增 Region ：华东2（上海），欢迎体验。
数据处理（NEW）	数据处理功能全新升级，提升开发的灵活性和任务管理效率。新增开发机功能，为算法开发者提供了开发环境，快速开始数据处理任务的编写、调试和运行。支持 vePFS 挂载，以访问 vePFS 中的数据，或者持久化存储开发过程中的文件。支持开发机中本地调试的任务直接到队列中进行分布式执行，提高任务提交和处理效率。任务管理升级，支持 Daft、Ray 多种算法框架，基于内置算子进行灵活的业务开发。支持 TOS 挂载，以访问 TOS 中的数据，或者持久化存储开发过程中的文件。（仅华北发布）工作流升级，支持任务级别的编排、调度，分布式处理大规模的数据处理任务。支持小时、天、周等周期调度能力。
资源管理	在线服务队列升级为通用队列，支持部署开发机和在线服务，快速搭建数据处理环境与服务。新增镜像管理，支持多种官方内置镜像以及灵活的自定义镜像能力，可以在使用开发机、任务提交时直接选择适合的镜像，即可快速构建AI开发环境或数据处理任务。
算子广场	全新适配 Daft 框架新增算子视频：人像模糊处理、文本占比计算、hash去重、单镜头片段切割优化图像：人脸模糊处理等算子语音：语音转文本
生态	对接火山引擎项目、标签，实现精细化的资源管理、授权、分账等能力。

2025年6月

功能模块	功能说明	发布地域
智能广场	算子广场全新发布：提供全新的数据处理算子能力，包含文本、视频、音频、图片等数据处理场景。	华北2（北京）
智能广场	开源库广场全新发布：汇集了时下主流的开源处理框架，包含 HuggingFace、Data-Juicer 等框架，用户可以自由的查看和体验。
数据集	功能优化数据查询增加缩略图 image 查询能力支持导出到方舟的数据集自定义名称
算子管理	新增内置算子20+，包括音频、视频、图像等场景。新增 Doubao-1-5-thinking-vision-pro 全新视觉深度思考模型，具备更强的通用多模态理解和推理能力。新增支持 doubao-pro 和 doubao-lite 大模型批量对话（Chat）模式。
在线服务	TLS 日志服务对接，通过配置 TLS 日志转发功能，可以将在线服务日志转发到指定的 TLS 仓库，实现日志查询和自定义分析。
生态	抖店云上线 LAS AI 数据湖服务。

2025年5月

功能模块	功能说明	发布地域
控制台首页	控制台首页全新发布：用户快速上手数据集处理流程，清晰了解各产品功能。提供多场景最佳实践：包含图文编排和快速搭建RAG离线入库链路。	华北2（北京）
数据集	数据集导出：支持通用数据集导出到方舟平台，用于模型训练。性能优化：数据集预览、关键词检索等性能、稳定性优化。
算子管理	算子丰富：新增音频、视频、图像、人像人体、语音技术等20+算子。
工作流	资源调度优化：新增任务高级参数，支持自定义配置 Spark Driver/Executor 规格。
在线服务	网络配置优化：支持用户将负载均衡（CLB）实例与在线服务的挂载与解绑，适合高流量服务场景。

2025年4月

功能模块	功能说明	发布地域
数据集	数据集功能取消白名单，功能全量开放。	华北2（北京）
	数据集增加分类，按场景分为通用数据集和推理数据集。通用数据集：用于对齐模型行为的人类偏好数据，通过SFT等方式调整模型输出。推理数据集：大模型实际应用场景中的用户输入数据集合，反映真实用户需求分布。用户可以将方舟平台的推理调用数据投递到 LAS 创建为推理数据集，发起模型数据回流，或查看原始数据进行数据处理和分析
	数据新增：支持对数据集新增数据，但新增数据的格式需要与当前数据集的格式相同。
	数据查询：支持使用 SQL 查询数据集中的数据。
	数据集来源：新增结构化数据 Iceberg 格式文件创建数据集。
	数据集导出：支持导出为新的数据集。
数据集 MCP Server	LAS MCP Server 发布：发布 MCP Server。已上架到方舟 MCP 广场。
数据集 SDK	SDK 发布：新增 LAS 数据集 SDK。
MLP 最佳实践	基于 LAS 数据集的图文混排：发布该最佳实践在 MLP 的快速开始页面。
数据湖-元数据管理	湖存储优化：新增 Lance 小文件合并能力，提升存储利用率、获取更优的查询性能以及高效的数据管理。
数据处理	全局变量：新增全局变量功能，支持调度时对所有算子使用该变量。周期调度：增加任务的周期调度能力。
算子管理	新增内置算子30+，支持人体人像、文本去重、图像技术、通用识别、等场景。新增支持开源算子框架，包括 DataJuicer 等。
监控告警	监控丰富：流式作业支持可视化监控，感知任务数据消费情况，降低运维成本。
监控告警	云监控告警：对接火山引擎云监控，对于LAS 队列资源、在线服务进行状态监控并发送告警通知。

2025年3月

功能模块	功能说明	发布地域
控制台优化	一级导航栏优化视觉风格优化	华北2（北京）
资源管理	优化资源管理列表，分为计算队列、在线服务队列以及托管资源。
	新增队列变配能力，支持用户根据业务规模调整队列资源大小。
	新增资源操作日志，查看资源队列变更记录。
数据湖-元数据管理	支持托管 Iceberg 和 Lance 数据，并自动记录其元数据。
数据集	数据集创建：支持多模态数据（结构化数据、文本、图像）自动入湖。数据集查询：支持数据集的内容预览、数据筛选查询。数据集导出：支持导出至对象存储、火山方舟。数据集日志：新增操作日志，记录数据集的操作历史。
数据处理	可视化工作流：支持用户低代码搭建工作流任务。工作流画布体验优化。保存工作流时，不再自动对画布自动排列。工作流详情页支持查看节点最新配置信息。 UDF输入节点数据类型交互优化。支持全局变量。
算子管理	新增30+内置算子。新增 Spark、Ray 的自定义 Job 类型的算子。系统内置算子支持出入参设置。
在线服务	支持模型一键部署为在线服务。支持在线服务队列扩缩容。

LAS Catalog（OLD）

版本号	功能更新	发布时间	发布地域
V1.5.0	支持Lance表在页面上的创建 Catalog支持Lance/Iceberg Catalog类型提供PythonSDK支持Ray+Lance接入Catalog 权限服务升级提供Parquet透明加解密接口修复Paimon表AlterTable时耗时比较久	2025年4月1日	华北自驾、华北、华东、柔佛
V1.5.0		2025年4月10日	华南
V1.4.1	页面创建表时，增加字段名与分区名重复校验。页面创建表时，增加char/varchar字段类型长度设置。卷、算子和 systemCatalog功能下线。新增元数据导出备份能力。 alter_table rename 性能优化。元数据访问增加 Quota，QPS 限流。	2025年1月16日	柔佛、华北、华东
V1.4.1		2025年3月6日	华南
V1.3.1	proton组件升级到2.1.4，支持TOS分层桶。鉴权组件优雅重启功能优化。支持配置服务端线程池的大小，增加对线程池利用率的采集和监控功能。增加API耗时情况及API错误率的采集监控。优化内部流控组件，增加超时、降级、监控告警等功能。	2024年11月26日	柔佛、华北、华东
V1.3.1		2024年12月24日	华南