大数据仓库存储
社区干货
ByConity 技术详解之 Hive 外表和数据湖
随着大数据处理需求的不断增加,更低成本的存储和更统一的分析视角变得愈发重要。数据仓库作为企业核心决策支持系统,如何接入外部数据存储已经是一个技术选型必须考虑的问题。也出于同样的考虑,ByConity 0.2.0 中发布了一系列对接外部存储的能力,初步实现对 Hive 外表及数据湖格式的接入。# 支持 Hive 外表随着企业数据决策的要求越来越高,Hive 数据仓库已成为了许多组织的首选工具之一。通过在查询场景中结合 Hive, ByConity...
9年演进史:字节跳动 10EB 级大数据存储实战
* 超大数据规模* 易扩展,容错率高**HDFS 在字节跳动的发展**字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模... Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据存储**02****字节跳动特色的 HDFS 架构**在深入相关的技术细节之前,我们先看看字节跳动...
免费公测|火山引擎大数据文件存储公测现已开启!
3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的... 大规模业务最佳实践,实现了多种场景下的企业级功能增强,支持字节跳动多款产品核心场景的实现与优化。**案例一:抖音实时推荐。** 大数据文件存储作为抖音大数据分析的存储底座,承接了全部的数据仓库和数据湖数据存...
免费公测|火山引擎大数据文件存储公测现已开启!
因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO ... 大规模业务最佳实践,实现了多种场景下的企业级功能增强,支持字节跳动多款产品核心场景的实现与优化。 **案例一:** **抖音实时推荐。**大数据文件存储作为抖音大数据分析的存储底座,承接了全部的数据仓库和数...
特惠活动
大数据仓库存储-优选内容
大数据仓库存储-相关内容
大数据HDD型d2s邀测上线
ECS正式发布第二代大数据HDD型d2s实例,整机配比24块8THDD本地盘轻松应对海量数据分析存储场景,提供从4vCPU至48vCPU的6种实例规格,最小规格xlarge配备两块8T HDD本地盘,相比d2单核HDD本地盘容量配比提升一倍以上,单... 存储场景,包括但不限于:分布式文件系统(如 HDFS文件系统)、大数据分析工作负载(如 Elastic MapReduce、Spark、Flink、Hadoop)、搜索和日志数据处理场景(如 ElasticSearch、Kafka)、大规模并行处理及数据仓库(如 Re...
大数据HDD型d2c邀测上线
ECS正式发布第二代大数据HDD型d2c实例,整机配比24块8T HDD本地盘轻松应对海量数据分析存储场景,提供从14vCPU至112vCPU的4种实例规格,最小规格14vCPU配备三块8T HDD本地盘,相较d2s单核盘容量配比低50%+,per vCPU价格... 存储场景,包括但不限于:分布式文件系统(如 HDFS文件系统)、大数据分析工作负载(如 Elastic MapReduce、Spark、Flink、Hadoop)、搜索和日志数据处理场景(如 ElasticSearch、Kafka)、大规模并行处理及数据仓库(如 Re...
使用 Hive 访问 CloudFS 中的数据
Hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载。本文介绍如何配置 Hive 服务来访问 CloudFS 中的数据。 前提条件在使用 Hive 服务访问大数据文件存储服务 CloudFS 前,确保您已经完成以下准备工作: 开通大数据文件存储服务 CloudFS 并创建文件存储,获取挂载信息。详细操作请参考创建文件存储系统。 开通 E-MapReduce 服务并创建集群。详细操作请参考E-MapReduce 集群创建。 在配置 Hive 服务之前,请确认/u...
邀测上线 | 大数据HDD型d2实例规格
ECS正式发布新一代大数据HDD型d2实例,单核配比高达1.7T HDD本地盘,整机配比24块8THDD本地盘,轻松应对海量数据分析存储场景。同时,搭载主频2.8GHz的第三代英特尔® 至强® 可扩展处理器(Ice Lake),全核睿频3.5GHz,较... 存储场景,包括但不限于:分布式文件系统(如 HDFS文件系统)、大数据分析工作负载(如 Elastic MapReduce、Spark、Flink、Hadoop)、搜索和日志数据处理场景(如 ElasticSearch、Kafka)、大规模并行处理及数据仓库(如 Re...
从思考到实践,企业级大数据平台的构建之路
点击上方👆蓝字关注我们! 伴随着移动互联网、5G、AI、IoT 的飞速发展,企业数据建设正处于更大规模和更多样的变化趋势中。传统自建数据仓库,在企业数据体量持续增长、业务时效性持续提升的情况下,已经很难应对更复杂、更多样化的场景需求,平台扩展和数据融合面临重重障碍。8 月18 日,火山引擎开发者社区技术大讲堂第四期将为大家从 **开源大数据生态**和 **源于字节跳动内部的智能实时湖仓**...
工业大数据分析与应用——知识总结 | 社区征文
大数据组织与管理 - 如开展分布式文件系统、分布式计算系统、数据库、数据仓储、MOLAP、HOLAP、数据转换工具、数据安全等。 - 大数据分析与发现 - 如数据挖掘、数据统计、基于大数据的业务分析与预测、基于大数据的决策、商业智能、人工智能、数据可视化等。 - 大数据应用服务 - 如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据分析平台等。- 大数据IT基础设施:存储设备、运算设...
浅谈大数据建模的主要技术:维度建模 | 社区征文
业务过程的所有度量在维度建模中都是存储在事实表中的,除此之外,事实表还存储了引用的维度。事实表通常和一个 **企业的业务过程** 紧密相关,由于一个企业的业务过程数据构成了其所有数据的绝大部分,因此事实表也通常占用了数据仓库存储的绝大部分。比如对于某个超市来说,其 **销售的明细数据** 通常占其拥有数据的绝大部分且每天还在不断地累计和增长,而商品、门店、员工、设备等其他数据相对来说固定且变化不大。> **事实...
「火山引擎」数据中台产品双月刊 VOL.03
一站式数据中台套件,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本。搭配 EMR/LAS 大数据存储计算引擎,加速企业数据中台及湖仓一体平台建设,为企业数字化转型提供数据支撑。### **火山引擎云原生数据仓库** **ByteHouse**云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析。便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性...
「火山引擎数据中台产品双月刊」 VOL.06
**火山引擎** **大数据研发治理** **套件** **DataLeap**一站式数据中台套件,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本。搭配 EMR/LAS 大数据存储计算引擎,加速企业数据中台及湖仓一体平台建设,为企业数字化转型提供数据支撑。**火山引擎** **云原生** **数据仓库** **ByteHouse**云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据...
