机器学习在线
社区干货
在线学习FTRL介绍及基于Flink实现在线学习流程|社区征文
# 背景目前互联网已经进入了AI驱动业务发展的阶段,传统的机器学习开发流程基本是以下步骤:数据收集->特征工程->训练模型->评估模型效果->保存模型,并在线上使用训练的有效模型进行预测。这种方式主要存在两个瓶颈:模型更新周期慢,不能有效反映线上的变化,最快小时级别,一般是天级别甚至周级别。另外一个是模型参数少,预测的效果差;模型参数多线上predict的时候需要内存大,QPS无法保证。针对这些问题,一般而言有两种解决方...
AI 和机器学习:探索智能科技的未来 | 社区征文
# AI和机器学习的定义人工智能(Artificial Intelligence)是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标... 质量检测和在线分析,提高生产效率。机器视觉和深度学习技术能执行复杂的检测任务,在工业原料和成品自动化有缺陷检测。同时人工智能也被用来预测设备维护,预知设备性能下降以便及时保养。在能源领域,人工智能为智能...
火山引擎大规模机器学习平台架构设计与应用实践
本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以及平台如何满足开发过程的标准化和团队协作的需求。 模型训练痛点... 能一键拉起在线 VSCode、JuypterLab 等 Web IDE。在 Job 化训练上,前面已经提到了我们有一些分布式框架多角色编排,以及硬件和各种软件的加速方案。同时我们对实验进行数据收集、归档和对比分析,把每一次迭代中涉...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01**... 我们也在在线流式训练中尝试切换 Arrow,但开销还是很大,可能的原因是流式的样本是每条通过的,不适合 Arrow 这种批式的形式从而导致额外的开销。* **应用二** **:** **海量样本** **Shuffle** **优化**...
特惠活动
机器学习在线-优选内容
机器学习在线-相关内容
服务的变更与变更记录
机器学习平台支持对服务动态地扩缩容、升级、迁移以及回滚,同时也保存了对应的操作历史便于用户追溯服务的更新迭代过程。 使用前提 【在线服务】中存在 >= 1 个服务。 待扩缩容的服务状态必须为运行中。 待升级、待迁移的服务的状态不能是停止中。 待回滚的服务状态不能是停止中,且该服务存在 >= 2 条变更记录。已配置私有网络和子网的服务不支持回滚到未配置时的版本。 操作步骤 登录机器学习平台,单击左侧导航栏中的【模型服务...
为服务配置自动扩缩容
机器学习平台支持对服务进行自动扩缩容配置,可根据配置策略动态伸缩实例数,便于根据业务的潮汐特性自动进行扩缩容。 操作步骤 登录机器学习平台,单击左侧导航栏中的【模型服务】-【在线服务】进入列表页面。 单击列表页面左上方的【+ 创建服务】进入创建页面。 在创建页面的【资源配置】栏中打开【自动扩缩容】开关。 进行【定时扩缩容】或【指标扩缩容】策略配置定时扩缩容定时扩缩容采用Cron语句进行时间配置,通过分钟、小时、...
创建开发机
【开发机】是机器学习平台为机器学习开发者提供的在线编译、调试代码和模型开发的模块。开发机支持使用 WebIDE 在线开发,或通过 SSH 连接开发机远程开发,也提供了持久化的云盘存储服务和共享文件系统用于存储开发中的数据。开发机在关机后,平台会释放开发机的算力,保存之前的操作、下载的数据和配置环境等 相关概念队列 镜像 共享文件系统挂载 云盘 使用前提拥有1个及以上的开发机队列,且队列的云盘容量超过20 GiB 操作步骤登...
将模型部署成服务
当用户需要将【模型管理】中的模型部署成线上服务时,可以在【在线服务】模块中创建服务,得到相应的 API 和示例代码即可调用模型进行推理。 相关概念模型管理 在线服务 操作步骤登录机器学习平台,单击左侧导航栏中的【模型服务】-【在线服务】进入列表页面。 单击列表页面左上方的【+ 创建服务】进入创建页面。 在创建页面填写相关参数,具体参数如下: 参数名称 参数说明 服务名称 填写服务的名称。 必填 。 支持1~200位可见字符,...
优先级调度策略
机器学习平台支持用户为自定义任务(以及开发机、在线服务)设定优先级,根据优先级的高低进行负载的调度。具体的配置方法详见发起单机/分布式训练任务。优先级越高代表该任务越重要,越希望尽早获得资源完成任务的运行。反之,优先级低的任务获得资源的机会相对靠后,但这不是绝对的,下文将详细介绍平台基于优先级实现的调度策略。 优先级和创建时间 优先级的数字越大越有可能尽早地被调度,当优先级相同时创建时间越早的任务越有可能早...
AI 和机器学习:探索智能科技的未来 | 社区征文
# AI和机器学习的定义人工智能(Artificial Intelligence)是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标... 质量检测和在线分析,提高生产效率。机器视觉和深度学习技术能执行复杂的检测任务,在工业原料和成品自动化有缺陷检测。同时人工智能也被用来预测设备维护,预知设备性能下降以便及时保养。在能源领域,人工智能为智能...
功能总览
训练任务或者在线服务都需要运行在某个实例之上,而实例将消耗某个队列的资源总量,不同的实例消耗的资源量不同,详见实例规格及定价。 镜像仓库 训练和部署模型除了需要硬件计算资源外,还需要 Docker 镜像 作为运行环境,该环境中封装了程序运行所需的软件依赖项。机器学习平台的【镜像仓库】为用户提供了大量的预置镜像,当预置镜像无法满足需求时,用户可以选择将自己的镜像迁移到机器学习平台,或者在机器学习平台中构建自定义镜像,...
火山引擎大规模机器学习平台架构设计与应用实践
本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以及平台如何满足开发过程的标准化和团队协作的需求。 模型训练痛点... 能一键拉起在线 VSCode、JuypterLab 等 Web IDE。在 Job 化训练上,前面已经提到了我们有一些分布式框架多角色编排,以及硬件和各种软件的加速方案。同时我们对实验进行数据收集、归档和对比分析,把每一次迭代中涉...
针对算法工程师的快速入门
以子账号登录机器学习平台,在【资源组】模块创建一个资源组。可以参考下图购买 2 台 8 卡 V100 的实例规格(ml.g1v.21xlarge),和极速型SSD FlexPL 云盘容量100GiB用于创建资源组。 在该资源组中创建负载类型包含【开发机】、【自定义任务】和【在线服务】的队列。云盘将用于持久化开发机的运行环境以及存放训练过程中产生的临时数据,因此需要分配一些云盘资源到队列中。 准备数据 在本地电脑(Mac 或 Linux 操作系统)的 Terminal ...
