机器学习开源项目
社区干货
字节跳动正式开源分布式训练调度框架 Primus
> 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度... 自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;1. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段...
字节跳动正式开源分布式训练调度框架 Primus
项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和... 自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处...
亚马逊云科技 -- AIGC 时代的数椐基础设施|社区征文
### 亚马逊云科技 -- AIGC时代的数椐基础设施>> - Amazon OpenSearch(AOS):开源搜索和分析引擎> - Amazon SageMaker:全面机器学习服务> - Amazon Bedrock:完全托管服务> - Amazon Augmented AI:机器学习预测的人工审核> - Amazon CodeGuru Security:机器学习自动推理开发周期检测、跟踪、修复代码安全漏洞### Amazon OpenSearch(AOS)> Amazon OpenSearch(AOS)亚马逊云计算服务提供开源搜索和分析引擎,基于开源项目Elas...
新增 2 开源项目进入 CNCF 云原生全景图
存储和机器学习云原生化等场景。来源 | KubeWharf 社区近日,字节跳动 2 个云原生开源项目 [**Katalyst**](http://mp.weixin.qq.com/s?__biz=Mzk0NDMzNjkxNw==&mid=2247484922&idx=1&sn=fb8922282b6215f28f69a3d9e23fa855&chksm=c3277c80f450f596fa53c910a75c38e3c22ff864782ec626a0a9842be736dd8ea006d0f2f6b8&scene=21#wechat_redirect) 和 [**KubeAdmiral**](http://mp.weixin.qq.com/s?__biz=M...
特惠活动
机器学习开源项目-优选内容
机器学习开源项目-相关内容
亚马逊云科技 -- AIGC 时代的数椐基础设施|社区征文
### 亚马逊云科技 -- AIGC时代的数椐基础设施>> - Amazon OpenSearch(AOS):开源搜索和分析引擎> - Amazon SageMaker:全面机器学习服务> - Amazon Bedrock:完全托管服务> - Amazon Augmented AI:机器学习预测的人工审核> - Amazon CodeGuru Security:机器学习自动推理开发周期检测、跟踪、修复代码安全漏洞### Amazon OpenSearch(AOS)> Amazon OpenSearch(AOS)亚马逊云计算服务提供开源搜索和分析引擎,基于开源项目Elas...
新增 2 开源项目进入 CNCF 云原生全景图
存储和机器学习云原生化等场景。来源 | KubeWharf 社区近日,字节跳动 2 个云原生开源项目 [**Katalyst**](http://mp.weixin.qq.com/s?__biz=Mzk0NDMzNjkxNw==&mid=2247484922&idx=1&sn=fb8922282b6215f28f69a3d9e23fa855&chksm=c3277c80f450f596fa53c910a75c38e3c22ff864782ec626a0a9842be736dd8ea006d0f2f6b8&scene=21#wechat_redirect) 和 [**KubeAdmiral**](http://mp.weixin.qq.com/s?__biz=M...
新增 2 开源项目进入 CNCF 云原生全景图
存储和机器学习云原生化等场景。来源 | KubeWharf 社区近日,字节跳动 2 个云原生开源项目 [**Katalyst**](http://mp.weixin.qq.com/s?__biz=Mzk0NDMzNjkxNw==&mid=2247484922&idx=1&sn=fb8922282b6215f28f69a3d9e23fa855&chksm=c3277c80f450f596fa53c910a75c38e3c22ff864782ec626a0a9842be736dd8ea006d0f2f6b8&scene=21#wechat_redirect) 和 [**KubeAdmiral**](http://mp.weixin.qq.com/s?__biz=M...
字节跳动开源 OpenDay 日程揭晓
首届字节跳动开源 OpenDay 将于 10 月 21 日在北京大钟寺工区举办。来自字节跳动服务框架、数据平台、可视化团队、机器学习团队,火山引擎云原生、多媒体团队,字节开源法务、安全等团队的开源同学齐聚一堂,分享开源实践、社区进展和合规安全等开源话题。参与本次活动的开源项目包括云原生、微服务、大数据、前端、多媒体、人工智能、安全等多个领域与方向,期待在此次活动中与对开源感兴趣的小伙伴现场交流。 ...
字节跳动宣布开源 KubeWharf,一个实践驱动的云原生项目集
字节跳动宣布 KubeWharf 项目正式开源。KubeWharf 是字节跳动基础架构团队在对 Kubernetes 进行了大规模应用和不断优化增强之后的技术结晶。这是一套以 Kubernetes 为基础构建的分布式操作系统,由一组云原生组件构成,专注于提高系统的可扩展性、功能性、稳定性、可观测性、安全性等,以支持大规模多租集群、在离线混部、存储和机器学习云原生化等场景。项目地址:[[https://github.com/kubewharf]](https://github.com/kubewha...
字节跳动正式开源分布式训练调度框架 Primus
项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分... 自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。作者|字节跳动基础架构研发工程师-谢凯 **01**... 包括我们团队近期开源的分布式训练调度框架 Primus,以及传统的 PyTorch 和 TensorFlow 等,用户可以根据需求选择适合的计算、训练框架。第二层即猛犸湖的 **核心层** 。对外为用户提供了 SDK 自助和元数据服务...
火山引擎大规模机器学习平台架构设计与应用实践
本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以及平台如何满足开发过程的标准化和团队协作的需求。 模型训练痛点... 这些算子的性能往往比好的开源实现有非常明显的提升。在 **通信上** :我们开源了 BytePS 的通信框架。BytePS 同时利用了 CPU 和 GPU 两种异构资源来加速通信,在对拓扑的探测上做了细致和智能的优化,并且支持异...
项目经验分享:机器学习在智能风控中的应用|社区征文
# 引言一直以来,人工智能(AI)在各个领域都表现出了强悍的水准。在学习中,我觉得机器学习具备巨大的潜力。近期接触了一个风险控制项目,务必涉及机器学习行业。因而,我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预...
