机器学习aiot
社区干货
AI 和机器学习:探索智能科技的未来 | 社区征文
# AI和机器学习的定义人工智能(Artificial Intelligence)是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标之一是通过创建具有人类智能特征的系统来解决复杂问题。而机器学习(Machine Learning)是AI的一个分支。它通过分析数据来教会计算机学习而不通过明确编程。通过例如聚类、分类和回归等算法从示例数据中学习模式和规则...
我的技术年终总结——机器学习 |社区征文
## 一、机器学习是什么?- 从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。 - 直观上理解,机器学习(Machine Learning,ML)是研究计算机模拟人类的学习活动,获取知识和技能的理论和方法,改善系统性能的学科。因为计算机系统中“经验‘通常以数据的形式存在,所以机器要利用经验,就必...
火山引擎大规模机器学习平台架构设计与应用实践
>作者:火山引擎AML团队## 模型训练痛点关于模型训练的痛点,首先是技术上的。现在机器学习应用非常广泛,下表给出了几种典型的应用,包括自动驾驶、蛋白质结构预测、推荐广告系统、NLP 等。可以看到不同应用场景下的参数和数据集、模型训练过程中的网络通信带宽、训练资源数和时长都不尽相同...
技术大讲堂精彩回顾& PPT 领取|字节跳动基于 HPC 的大规模机器学习技术
点击上方👆蓝字关注我们! 4 月 14 日,火山引擎开发者社区技术大讲堂第一期为大家带来了主题为「揭秘字节跳动基于 HPC 的大规模机器学习技术」的分享。字节跳动经过...
特惠活动
机器学习aiot-优选内容
机器学习aiot-相关内容
揭秘字节跳动基于 HPC 的大规模机器学习技术
随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区技术大讲堂第一期将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的机器学习技术将首次亮相开发者社区,并由技术负责人项亮公开深度分享,与广大开发者互动。同时,承载...
火山引擎大规模机器学习平台架构设计与应用实践
点击上方👆蓝字关注我们!  本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以...
揭秘字节跳动基于 HPC 的大规模机器学习技术
点击上方👆蓝字关注我们! 随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区 **技术大讲堂第一期**将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的**机器学习技术将****首次亮相*...
从字节跳动机器学习平台,到火山引擎智能中台
自2017年诞生以来,字节跳动机器学习平台从一开始的几十台物理GPU开发机,到现在支持着万级GPU调度,持续降低机器学习的算力和开发门槛,帮助我们内部平台和外部客户深入发展自己的AI的能力。 ——易百忍 字节跳动AI Lab机器学习平台软件工程师 火山引擎智能中台整个基础设施支撑着所有上层业务的发展,一方面是弹性轻量化,支撑1-10000节点的轻量化平台,另一方面是云原生层面,支持云原生PaaS设计的IaaS系统和云原生存储。 ——邓德源...
从字节跳动机器学习平台,到火山引擎智能中台
自2017年诞生以来,字节跳动机器学习平台从一开始的几十台物理GPU开发机,到现在支持着万级GPU调度,持续降低机器学习的算力和开发门槛,帮助我们内部平台和外部客户深入发展自己的AI的能力。 ——易百忍 字节跳动AI Lab机器学习平台软件工程师 火山引擎智能中台整个基础设施支撑着所有上层业务的发展,一方面是弹性轻量化,支撑1-10000节点的轻量化平台,另一方面是云原生层面,支持云原生PaaS设计的IaaS系统和云原生存储。 ——邓德源...
字节跳动杨震原:抖音如何用好机器学习
“数字化时代,问题可以定量评估,机器学习可以围绕目标做更智能、高效的优化。” 4月18日,火山引擎发布自研DPU等系列云产品,并推出新版机器学习平台,支持企业客户更好地训练AI大模型。字节跳动副总裁杨震原以《抖音的机器学习实践》为主题,分享了他对机器学习的理解。 杨震原认为,机器学习系统的核心竞争力,在于每次实验都能很快、很便宜。算法工程师能聚焦在自己的工作上,用很低成本不断去试错,这样才能实现业务的敏捷迭代和创新...
从字节跳动机器学习平台,到火山引擎智能中台
从字节跳动机器学习平台,到火山引擎智能中台 自2017年诞生以来,字节跳动机器学习平台从一开始的几十台物理GPU开发机,到现在支持着万级GPU调度,持续降低机器学习的算力和开发门槛,帮助我们内部平台和外部客户深入发展自己的AI的能力。 ——易百忍 字节跳动AI Lab机器学习平台软件工程师 火山引擎智能中台整个基础设施支撑着所有上层业务的发展,一方面是弹性轻量化,支撑1-10000节点的轻量化平台,另一方面是云原生层面,支持云原生P...
浅谈AI机器学习及实践总结 | 社区征文
# 机器学习基础## 什么是机器学习机器学习是一种从数据生成规则、发现模型,来帮助我们预测、判断、分组和解决问题的技术。(机器学习是一种从数据中生产函数,而不是程序员直接编写函数的技术)说起函数就涉及到自变量和因变量,在机器学习中,把自变量叫做特征(feature)多个自变量分别可以定义为X1,X2..Xn,因变量叫做标签(label),可定义为Y,而一批特征和标签的集合,就是机器学习的数据集。机器学习的学习过程就是在已知的数据...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
> 深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。**相关产品**:https://www.volcengine.com/product/flink # 机...
