机器学习推荐系统
社区干货
火山引擎大规模机器学习平台架构设计与应用实践
>作者:火山引擎AML团队## 模型训练痛点关于模型训练的痛点,首先是技术上的。现在机器学习应用非常广泛,下表给出了几种典型的应用,包括自动驾驶、蛋白质结构预测、推荐广告系统、NLP 等。可以看到不同应用场景下的参数和数据集、模型训练过程中的网络通信带宽、训练资源数和时长都不尽相同...
火山引擎大规模机器学习平台架构设计与应用实践
本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以及平台如何满足开发过程的标准化和团队协作的需求。 模型训练痛点 关于模型训练的痛点,首先是 **技术上** 的。现在机器学习应用非常广泛,下表给出了几种典型的应用,包括自动驾驶、蛋白质结构预测、推荐广告系统、NLP 等。
特惠活动
机器学习推荐系统-优选内容
机器学习推荐系统-相关内容
产品简介
什么是智能推荐平台 智能推荐平台介绍智能推荐平台依托字节跳动领先的大规模机器学习和个性化推荐技术,借助在信息资讯、视频直播、社交、电商等多个领域的能力积累,为客户提供端到端的一站式推荐服务能力搭建的平... 推荐引擎的服务流程,平台以可视化的方式呈现,支持对召回、排序(精排)、规则模块进行配置。通过构建可视化、可配置的在线服务,让用户可以更清晰地明确流程及对应环节的交互配置。召回: 召回是推荐系统的关键问题之一...
使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理
本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。 适用场景如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。推荐授权场景如下所示: 团队 数据集权限 运维团队 公共数据集 /public :读写权限 vePFS 完整管理权限(即 / 目录读写权限) 说明 运维团队...
产品概述
火山向量数据库VikingDB是什么? 火山向量数据库 VikingDB 是基于火山引擎的云基础设施搭建,用于生产、存储、索引和分析来自机器学习模型产生的海量向量数据的数据库系统。该数据库内置多种火山引擎自研索引算法,并沉淀字节多业务线大规模、多场景实践经验,支持百亿级向量检索规模,可广泛应用于智能问答、智能搜索、推荐系统和数据去重等领域。 基本概念 什么是非结构化数据?非结构化数据是指数据结构不规则、没有统一的预定义数...
为君作磐石——人人都能搭建大规模推荐系统
推荐系统的过程中,遇到了不少麻烦,我们具体来看看。A 公司想训练一个点击率模型,每天有 1 亿次曝光,100 万次点击,他们想用 3 个月的数据训练模型,样本量级达到 90 亿。他们设计了 200 个特征,包含用户 ID、商品 ID、用户的点击序列等,想为每个特征分配 16 维的向量来表征,粗略计算下来模型大小为 500G。分析之后,他们发现要做分布式训练和模型存储,于是调研了一些开源方案:* **Tensorflow**:Google 开源的机器学习系统,可以...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01****机器学习样本存储:背景与趋势**在字节跳动,机器学习模型的应用范围非常广泛。为了支持模型的训练,我们建立了两大训练平台:推荐广告训练平台和通用的 CV/NLP 训练平台。推荐广告平台每周训练规...
机器学习平台-火山引擎
机器学习平台(ML Platform)是面向机器学习应用开发者,提供 WebIDE 和自定义训练等丰富建模工具、多框架高性能模型推理服务的企业级机器学习平台
火山引擎 x NVIDIA H100,全面提升 AI 算力
近日,字节跳动旗下的企业级技术服务平台火山引擎宣布将在弹性计算服务和机器学习平台上采用NVIDIA最新推出的基于 Hopper 架构的 H100 Tensor Core GPU,助力火山引擎上的广大企业级客户大幅提升人工智能算力性能。 火山引擎和NVIDIA在过去几年里已开展了深入合作,并在自然语言处理、深度推荐系统、计算视觉等领域卓有成效。火山引擎团队和NVIDIA团队一致表示:非常期待双方的合作能继续往纵深发展,共同推进新一代加速计算浪潮。 在...
火山引擎 x NVIDIA H100,全面提升 AI 算力
近日,字节跳动旗下的企业级技术服务平台火山引擎宣布将在弹性计算服务和机器学习平台上采用NVIDIA最新推出的基于 Hopper 架构的 H100 Tensor Core GPU,助力火山引擎上的广大企业级客户大幅提升人工智能算力性能。火山引擎和NVIDIA在过去几年里已开展了深入合作,并在自然语言处理、深度推荐系统、计算视觉等领域卓有成效。火山引擎团队和NVIDIA团队一致表示:非常期待双方的合作能继续往纵深发展,共同推进新一代加速计算浪潮。...
字节跳动基于 Hudi 的机器学习应用场景
> 本文为 Apache Hudi 技术社区分享会第十期嘉宾分享文章,主要介绍火山引擎 LAS 团队自研的多场景样本离线存储技术,用于处理机器学习系统的离线数据流。同时,还会为大家揭秘流批一体样本生成的过程,分享对 Hudi 内核所做出的优化和改造,探索其在数据处理领域的实际应用和效果。**文末更有专属彩蛋,新人优惠购福利,等着你来解锁!** 本篇文章提纲如下:- 业务场景- 离线样本存储与迭代- 流批一体的样本生成- 功能与优...
