大数据与机器学习
社区干货
免费公测|火山引擎大数据文件存储公测现已开启!
计算资源和存储资源扩容速度不匹配 ,不同时期需要不同的存储空间和计算能力配比,导致机器选型不便;2. 计算资源和存储资源按某一比例强绑定,系统扩容必须按节点数目增加,导致内存或磁盘的浪费;3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO...
免费公测|火山引擎大数据文件存储公测现已开启!
3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO 瓶颈)、接口兼容性等问题,火山引擎推出自研的**大数据文件存储(CloudFS)** 作为解决方案。火山引擎大数据文件存储以对象存储为底座,针对大数据和机器学习场景进行了完整的兼容和优化,助力更多企业...
我的技术年终总结——机器学习 |社区征文
## 一、机器学习是什么?- 从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。 - 直观上理解,机器学习(Machine Learning,ML)是研究计算机模拟人类的学习活动,获取知识和技能的理论和方法,改善系统性能的学科。因为计算机系统中“经验‘通常以数据的形式存在,所以机器要利用经验,就必...
项目经验分享:机器学习在智能风控中的应用|社区征文
在学习中,我觉得机器学习具备巨大的潜力。近期接触了一个风险控制项目,务必涉及机器学习行业。因而,我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预测,无法适应灵便的使用场景;此外,处理规模性数据的效率很低,无法提...
特惠活动
大数据与机器学习-优选内容
大数据与机器学习-相关内容
我的技术年终总结——机器学习 |社区征文
## 一、机器学习是什么?- 从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。 - 直观上理解,机器学习(Machine Learning,ML)是研究计算机模拟人类的学习活动,获取知识和技能的理论和方法,改善系统性能的学科。因为计算机系统中“经验‘通常以数据的形式存在,所以机器要利用经验,就必...
项目经验分享:机器学习在智能风控中的应用|社区征文
在学习中,我觉得机器学习具备巨大的潜力。近期接触了一个风险控制项目,务必涉及机器学习行业。因而,我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预测,无法适应灵便的使用场景;此外,处理规模性数据的效率很低,无法提...
云原生大数据 Meetup|云原生时代下的数据计算基础设施
在分布式计算尤其是机器学习领域的应用越来越广泛。Ray 在字节跳动有比较广泛的应用,比如图计算、ML等,并基于云原生环境提供弹性作业能力。本次分享将从如下几个方面进行展开:- Ray 简介及优势- Ray 在字节跳动的应用场景- Kuberay 助力 Ray 云原生部署**《云原生场景下的存储加速实战》**郭俊|火山引擎大数据文件存储技术负责人云原生场景下,大数据和机器学习的计算架构朝着存算分离、弹性伸缩和灵活调度的方...
三分钟了解大数据技术发展史|社区征文
随后被各类大数据产品支持,成为大数据平台上最主流的资源调度系统。经历了多年的发展从 2016 年前后 MapReduce 慢慢的被其他产品取代了,为什么会被取代了?主要有以下原因,高昂的维护成本,使用 MapReduce 需要严格的遵循 Map 和 Reduce 编程规范,当要处理更为复杂的业务流程,往往需要协调多个 Map 和多个 Reduce 任务。然而每一步的 MapReduce 都可能出错,另外在机器学习业务场景非常复杂的,往往需要经历数据 ETL 处理完成数据...
技术人的 2023 总结:人工智能-基于机器学习的环境污染影响评估学习|社区征文
对人类生存和健康造成了严重威胁。为了更有效地监测和评估环境污染的影响,人工智能(AI)技术在环境科学领域展现出了巨大的潜力。本文将探讨基于机器学习的环境污染影响评估方法,并提供相应的代码实例。环境污染包括空气、水、土壤等多个方面,因此准确评估其影响需要全面考虑多种因素。传统的监测方法通常依赖于定点采样,显然无法全面覆盖大范围的环境。而基于机器学习的方法能够利用大量的数据,从而更全面、精确地评估环境污染的影...
浅谈AI机器学习及实践总结 | 社区征文
# 机器学习基础## 什么是机器学习机器学习是一种从数据生成规则、发现模型,来帮助我们预测、判断、分组和解决问题的技术。(机器学习是一种从数据中生产函数,而不是程序员直接编写函数的技术)说起函数就涉及到自变量和因变量,在机器学习中,把自变量叫做特征(feature)多个自变量分别可以定义为X1,X2..Xn,因变量叫做标签(label),可定义为Y,而一批特征和标签的集合,就是机器学习的数据集。机器学习的学习过程就是在已知的数据...
云原生大数据 Meetup|云原生时代下的数据计算基础设施
在分布式计算尤其是机器学习领域的应用越来越广泛。Ray 在字节跳动有比较广泛的应用,比如图计算、ML等,并基于云原生环境提供弹性作业能力。本次分享将从如下几个方面进行展开:* Ray 简介及优势* Ray 在字节跳动的应用场景* Kuberay 助力 Ray 云原生部署 **《****云原生场景下的存储加速实战****》**郭俊|火山引擎大数据文件存储技术负责人云原生场景下,大数据和机器学习的计算架构朝着存算分离...
AI 和机器学习:探索智能科技的未来 | 社区征文
是使计算机和机器模拟人类智能的科学与工程实践。它旨在构建智能代理——系统能够正确理解外部环境,并在那里采取行动,以最大程度地完成目标。AI技术的目标之一是通过创建具有人类智能特征的系统来解决复杂问题。而机器学习(Machine Learning)是AI的一个分支。它通过分析数据来教会计算机学习而不通过明确编程。通过例如聚类、分类和回归等算法从示例数据中学习模式和规则,机器学习系统能够以新数据为基础做出预测。它利用统计方法...
演讲预告|云原生大数据系列实践分享
容灾和资源调度等方向上带来优势。在这个背景下,越来越多企业选择转型云原生大数据架构,同时很多企业内部对大数据引擎如何能更好的利用云原生的特性支撑好业务也有很多的实践。本论坛特别邀请了来自 Spark/Flink/Trino 等领域内专家,分享这些引擎在云原生架构上面的一些实践经验。 **出品人:一新** **-** **字节跳动批式计算研发负责人**个人介绍:字节跳动批式计算负责人,支撑公司内大规模的离线数据处理&机器学习等业务...
