机器学习实战项目
社区干货
项目经验分享:机器学习在智能风控中的应用|社区征文
# 引言一直以来,人工智能(AI)在各个领域都表现出了强悍的水准。在学习中,我觉得机器学习具备巨大的潜力。近期接触了一个风险控制项目,务必涉及机器学习行业。因而,我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预...
基于火山引擎云搜索服务的排序学习实战
> 排序学习(LTR: Learning to Rank)作为一种机器学习技术,其应用场景非常广泛。例如,在**电商推荐**领域,可以帮助电商平台对用户的购买历史、搜索记录、浏览行为等数据进行分析和建模;可以帮助**搜索引擎**对用户的搜索关键词进行分析建模;可以为广告主提供最精准和最有效的**广告投放**方案;在**金融风控**领域,排序学习可以帮助金融机构分析客户的信用评级和欺诈风险,提高风控能力和业务效率。#### 本文相关产品-火山引擎云搜...
火山引擎大规模机器学习平台架构设计与应用实践
>作者:火山引擎AML团队## 模型训练痛点关于模型训练的痛点,首先是技术上的。现在机器学习应用非常广泛,下表给出了几种典型的应用,包括自动驾驶、蛋白质结构预测、推荐广告系统、NLP 等。可以看到不同应用场景下的参数和数据集、模型训练过程中的网络通信带宽、训练资源数和时长都不尽相同...
火山引擎大规模机器学习平台架构设计与应用实践
点击上方👆蓝字关注我们!  本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以...
特惠活动
机器学习实战项目-优选内容
机器学习实战项目-相关内容
揭秘字节跳动基于 HPC 的大规模机器学习技术
随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区技术大讲堂第一期将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的机器学习技术将首次亮相开发者社区,并由技术负责人项亮公开深度分享,与广大开发者互动。同时,承载...
使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理
本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。 适用场景如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。推荐授权场景如下所示: 团队 数据集权限 运维团队 公共数据集 /public :读写权限 vePFS 完整管理权限(即 / 目录读写权限) 说明 运维团队...
字节跳动正式开源分布式训练调度框架 Primus
> 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解,才能够快速批量开启模型训练,保证资源利用率。目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习...
揭秘字节跳动基于 HPC 的大规模机器学习技术
点击上方👆蓝字关注我们! 随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区 **技术大讲堂第一期**将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的**机器学习技术将****首次亮相*...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01**... 在推进新的推荐项目时,如果有一个新的推荐目标,算法工程师只需要回填该推荐目标的标签 Label 就可以直接复用主干已有的特征,训练几个小时后就可以开始 AB 实验、检验模型效果,在主干上调研成功的新特征也可以尽快在...
字节跳动基于 Hudi 的机器学习应用场景
> 本文为 Apache Hudi 技术社区分享会第十期嘉宾分享文章,主要介绍火山引擎 LAS 团队自研的多场景样本离线存储技术,用于处理机器学习系统的离线数据流。同时,还会为大家揭秘流批一体样本生成的过程,分享对 Hudi 内核所做出的优化和改造,探索其在数据处理领域的实际应用和效果。**文末更有专属彩蛋,新人优惠购福利,等着你来解锁!** 本篇文章提纲如下:- 业务场景- 离线样本存储与迭代- 流批一体的样本生成- 功能与优...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机器学习样本... 在推进新的推荐项目时,如果有一个新的推荐目标,算法工程师只需要回填该推荐目标的标签 Label 就可以直接复用主干已有的特征,训练几个小时后就可以开始 AB 实验、检验模型效果,在主干上调研成功的新特征也可以尽快在...
技术大讲堂精彩回顾& PPT 领取|字节跳动基于 HPC 的大规模机器学习技术
点击上方👆蓝字关注我们! 4 月 14 日,火山引擎开发者社区技术大讲堂第一期为大家带来了主题为「揭秘字节跳动基于 HPC 的大规模机器学习技术」的分享。字节跳动经过...
2023 年度总结—总结我今年的AI之路-多项目实战经验谈AI发展前景|社区征文
参与项目的经验分享,个人技术成长方面的心得体会等等。# 🐟一.学习总结和参与项目人工智能(AI)已经逐渐成为当今科技领域最热门的话题。在学习AI的过程中,我深入了解了机器学习、深...
