机器学习基础知识
社区干货
浅谈AI机器学习及实践总结 | 社区征文
# 机器学习基础## 什么是机器学习机器学习是一种从数据生成规则、发现模型,来帮助我们预测、判断、分组和解决问题的技术。(机器学习是一种从数据中生产函数,而不是程序员直接编写函数的技术)说起函数就涉及到自变量和因变量,在机器学习中,把自变量叫做特征(feature)多个自变量分别可以定义为X1,X2..Xn,因变量叫做标签(label),可定义为Y,而一批特征和标签的集合,就是机器学习的数据集。机器学习的学习过程就是在已知的数据...
我的技术年终总结——机器学习 |社区征文
## 一、机器学习是什么?- 从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。 - 直观上理解,机器学习(Machine Learning,ML)是研究计算机模拟人类的学习活动,获取知识和技能的理论和方法,改善系统性能的学科。因为计算机系统中“经验‘通常以数据的形式存在,所以机器要利用经验,就必...
AI 和机器学习:探索智能科技的未来 | 社区征文
是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标之一是通过创建具有人类智能特征的系统来解决复杂问题。而机器学习(Machine Learning)是AI的一个分支。它通过分析数据来教会计算机学习而不通过明确编程。通过例如聚类、分类和回归等算法从示例数据中学习模式和规则,机器学习系统能够以新数据为基础做出预测。它利用统计方法...
项目经验分享:机器学习在智能风控中的应用|社区征文
我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预测,无法适应灵便的使用场景;此外,处理规模性数据的效率很低,无法提供精确的风险评估和投资决策。基于数据发掘算法,融合了机器学习的特征,基本解决了这些问题。为了...
特惠活动
机器学习基础知识-优选内容
机器学习基础知识-相关内容
AI 和机器学习:探索智能科技的未来 | 社区征文
是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标之一是通过创建具有人类智能特征的系统来解决复杂问题。而机器学习(Machine Learning)是AI的一个分支。它通过分析数据来教会计算机学习而不通过明确编程。通过例如聚类、分类和回归等算法从示例数据中学习模式和规则,机器学习系统能够以新数据为基础做出预测。它利用统计方法...
项目经验分享:机器学习在智能风控中的应用|社区征文
我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预测,无法适应灵便的使用场景;此外,处理规模性数据的效率很低,无法提供精确的风险评估和投资决策。基于数据发掘算法,融合了机器学习的特征,基本解决了这些问题。为了...
针对算法工程师的快速入门
本文主要面向有一定编码能力的算法工程师。在首次使用火山引擎机器学习平台的情况下,帮助用户快速上手,在平台上完成模型开发调试、训练的关键流程。主要适用场景: 模型所需的样本和代码已部分或全部开发完成,用户需... 可以参考迁移外部镜像到镜像仓库将该部分镜像快速地迁移到机器学习平台的【镜像仓库】。 构建镜像:机器学习平台【镜像仓库】支持按需构建自定义镜像,支持在基础镜像上安装依赖项、Dockerfile 和保存开发机环境为新...
火山引擎大规模机器学习平台架构设计与应用实践
所以面对丰富的机器学习应用,我们的需求是多样的。针对这些需求,底层的计算、存储、网络等基础设施要提供强大的硬件,同时在这些硬件基础上还要提供强大的调度能力,才能为各种需求提供较好的服务,使集群利用率维持在较高水平。模型训练的第二个痛点是偏管理上的。比如在算法问题上,一个方法比另外一好,其中的原因多种多样,可能是基础架构不同,也可能是算法不同。在字节跳动的实践中发现,基础架构对性能或迭代效率有影响,但大部分...
技术大讲堂精彩回顾& PPT 领取|字节跳动基于 HPC 的大规模机器学习技术
火山引擎开发者社区技术大讲堂第一期为大家带来了主题为「揭秘字节跳动基于 HPC 的大规模机器学习技术」的分享。字节跳动经过业务实践打磨的机器学习技术首次亮相开发者社区,由技术负责人项亮公开深度分享;同时,承载机器学习平台的超大规模 HPC 基础设施也首度在社区分享。 **《火山引擎大规模机器学习平台架构设计与应用实践》**项亮|火山引擎机器学习系统负责人本次分享围绕数据加速、模型分布式训练框架建...
揭秘字节跳动基于 HPC 的大规模机器学习技术
随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区技术大讲堂第一期将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的机器学习技术将首次亮相开发者社区,并由技术负责人项亮公开深度分享,与广大开发者互动。同时,承载...
揭秘字节跳动基于 HPC 的大规模机器学习技术
点击上方👆蓝字关注我们! 随着智慧科研、自动驾驶、基因测序、量化投资等大量新兴产业的发展,现代产业对模型训练有了大量的需求,模型体积也呈现爆发式地增长。而大模型训练给底层基础设施,尤其是计算能力带来了不小的挑战。4 月 14 日,火山引擎开发者社区 **技术大讲堂第一期**将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术。字节跳动经过业务实践打磨的**机器学习技术将****首次亮相*...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
并为模型的迭代和优化提供基础。目前字节跳动以及整个业界在机器学习和训练样本领域的一些趋势如下: 首先,**模型** **/样本** **越来越大**。随着模型参数的增多,为了训练这些庞大的模型需要更多、更丰富的训练数据来确保模型的准确性和泛化能力。其次,**训练算力越来越强**。在过去,训练一个机器学习模型可能需要数周甚至数月的时间。然而,如今基于更好的模型架构和高速显卡,我们可以在相对较短的时间内完成训练过程并进...
使用机器学习及 vePFS Fileset 实现部门数据及权限的精细化管理
本文介绍如何通过机器学习平台及 vePFS 的 Fileset 功能,实现不同团队的数据及权限的精细化管理。 适用场景如果您的企业对数据安全有较高的要求,您可以通过机器学习平台和文件系统 vePFS,授予开发机特定的 vePFS 数据,实现不同团队的数据及权限的精细化管理,避免数据泄露或者误删除的场景。推荐授权场景如下所示: 团队 数据集权限 运维团队 公共数据集 /public :读写权限 vePFS 完整管理权限(即 / 目录读写权限) 说明 运维团队...
