大数据与大数据分析
社区干货
工业大数据分析与应用——知识总结 | 社区征文
# 工业大数据分析及应用## 1 工业大数据概述* 1.1 大数据的产生* 1.2 大数据的概念和特点* 1.3 大数据的影响* 1.4 大数据的引用* 1.5大数据的关键技术* 1.6 工业大数据的概念与特征* 1.7 工业大数据与流程工业智能制造### 1.1 工业大数据的产生> 大数据的产生原因* 新的数据来源/新的数据采集方法* **全时空**数据的可采集性* 智能算法的使能* 非结构的数据形态* 数据获取成本、存储成本和处理成本的下降#...
大数据学习架构实践|社区征文
> “大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析处理,比如各个浏览引擎。> 然而,大数据的真正提出却是源自2008.09.03 《Nature》专刊的一篇论文,紧接着,产业界也不断跟进,麦肯锡于2011.06 发布麦肯锡全球研究院报告,标志着大数据在产业界的真正兴起,随着白宫发布大数据研发法案,政府开始加入大数据的角逐。# *...
三分钟了解大数据技术发展史|社区征文
开发者可以用 pig 脚本描述要对数据集进行的操作,Pig 经过编译后会生成 MapReduce 程序,然后运行到 Hadoop 集群中。Pig 有个问题虽然比直接编写 MR 成需要容器但是仍然需要去学习新的脚本语法,于是 Facebook 又发明了 HIve 支持使用 SQL 语言进行大数据计算,然后转化成 MR 计算程序运行,极大的简化了 MapReduce 分布式程序的门槛,让数据开发人员、数据分析师也能够快速入手,因此 hive 迅速得到了开发者和企业的追捧。随后众多 ...
社区征文|大数据助力制造业数字化转型
从事大数据开发和分析的人员一直担心,大数据或者说BI未来是不是可期。答案是肯定的。 从市场增速来看,发展至今,我国已进入 BI 及 DA(数据分析)领域的第一方阵,并成为发展最快的国...
特惠活动
大数据与大数据分析-优选内容
大数据与大数据分析-相关内容
大数据、人工智能与大模型:技术融合的未来趋势|社区征文
和大型模型已成为探索未来可能性的关键技术。我将通过回顾2023年本人参与的项目经验,探讨这些技术的出现和融合如何改变了我们的世界,并对未来的发展趋势进行预测。## 大数据:数据驱动的决策基石大数据是现代技术体系的最基础的底层技术。通过收集和分析海量大数据,我们能够展示大量工作模式、趋势和关联,这些信息对于企业和组织做出明智的决策至关重要。在我参与的一个零售行业分析项目中,通过利用用户购买数据,我们能够准确...
邀测上线 | 大数据HDD型d2实例规格
ECS正式发布新一代大数据HDD型d2实例,单核配比高达1.7T HDD本地盘,整机配比24块8THDD本地盘,轻松应对海量数据分析存储场景。同时,搭载主频2.8GHz的第三代英特尔® 至强® 可扩展处理器(Ice Lake),全核睿频3.5GHz,较上一代d1s实例CPU算力提升70%以上。 新一代大数据HDD型实例在网络与云盘性能上也全面进行了优化。与上一代实例相比,网络性能方面,采用火山引擎自研网络虚拟化技术,网络传输延时降低一半;与此同时,全面提升至100G*2物...
火山引擎数据中台发布新品:湖仓一体分析服务、E-MapReduce 服务
2021年12月2日,火山引擎在“新云·共未来”发布会上推出两款数据产品——湖仓一体分析服务(Lakehouse Analysis Services)和 E-MapReduce 服务,帮助企业构建湖仓架构的大数据平台。伴随着移动互联网、5G、AI、IoT的飞速发展,企业数据建设正处于更大规模和更加多样的变化趋势中。随着企业业务持续和规模化上云,数据分析系统和应用正逐步面向公有云进行构建或迁移,云上大数据分析能力正成为业务数字化、智能化的关键支撑。传统自...
大数据技术年度总结 | 主赛道
我主要负责大数据平台的架构设计和开发工作。具体包括以下几个方面:`数据采集:负责设计和开发数据采集模块,实现对各类数据源的实时采集和存储。数据处理:负责设计和开发数据处理模块,实现对数据的清洗、转换和挖掘等操作。数据分析:负责设计和开发数据分析模块,实现对数据的可视化、统计分析和预测等操作。数据安全:负责设计和开发数据安全模块,实现对数据的加密、备份和恢复等操作。**火山引擎** **云原生** **数据仓库** **ByteHouse**云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析...
