You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

数据仓库模型设计工具箱

从数据接入、查询分析到可视化展现,提供一站式洞察平台,让数据发挥价值

社区干货

浅谈大数据建模的主要技术:维度建模 | 社区征文

维度表设计和事实表设计等各个方面,也为我们后面讲Hadoop 数据仓库实战打下基础。## 维度建模关键概念### 度量和环境维度建模是支持对业务过程的分析,所以它是通过对业务过程度量进行建模来实现的。> **那么,什么是度量呢?**实际上,我们通过和业务方、需求方交谈,或者阅读报表、图表等,可以很容易地识别度量。考虑如下业务需求:- 店铺上个月的销售额如何?- 店铺库存趋势如何?- 店铺的访问情况如何( pv,uv) ? - 店...

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)

《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。** 白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化... 多租户管理:支持多租户模型,租户间互相隔离,独立计费。- RBAC 权限管理:支持库、表、列级,读、写、资源管理等权限。通过角色进行管理。- VW 自动启停,弹性扩展:计算资源按需分配,闲时关闭。降低总成本,提...

浅谈数仓建设及数据治理 | 社区征文

数据仓库模型设计中,一般采用第三范式。一个符合第三范式的关系必须具有以下三个条件 :- 每个属性值唯一,不具有多义性 ;- 每个非主属性必须完全依赖于整个主键,而非主键的一部分 ;- 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。![范式建模](https://cdn.jsdelivr.net/gh/sunmyuan/cdn/210316_3.png)根据 Inmon 的观点,数据仓库模型的建设方法和业务系统的企业数据模型类似...

数仓黄金价值圈: 为什么、是什么、怎么做|社区征文

今天给大家一起分享下有着悠久历史的数据仓库的一些思考由三部分组成为什么,搭建数据仓库是什么,数据仓库定义怎么做,如何搭建数仓# 一:为什么,搭建数据仓库最终目标:**数据驱动资源优化配置,即科学、高效... 指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区,同时又承担基础数据记录历史变化,之所以保留原始数据和线上原始数据保持一致,方便后期数据核对需要。- CDM:通用数据模型,又称为数据...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

数据仓库模型设计工具箱-优选内容

浅谈大数据建模的主要技术:维度建模 | 社区征文
维度表设计和事实表设计等各个方面,也为我们后面讲Hadoop 数据仓库实战打下基础。## 维度建模关键概念### 度量和环境维度建模是支持对业务过程的分析,所以它是通过对业务过程度量进行建模来实现的。> **那么,什么是度量呢?**实际上,我们通过和业务方、需求方交谈,或者阅读报表、图表等,可以很容易地识别度量。考虑如下业务需求:- 店铺上个月的销售额如何?- 店铺库存趋势如何?- 店铺的访问情况如何( pv,uv) ? - 店...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。** 白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化... 多租户管理:支持多租户模型,租户间互相隔离,独立计费。- RBAC 权限管理:支持库、表、列级,读、写、资源管理等权限。通过角色进行管理。- VW 自动启停,弹性扩展:计算资源按需分配,闲时关闭。降低总成本,提...
浅谈数仓建设及数据治理 | 社区征文
数据仓库模型设计中,一般采用第三范式。一个符合第三范式的关系必须具有以下三个条件 :- 每个属性值唯一,不具有多义性 ;- 每个非主属性必须完全依赖于整个主键,而非主键的一部分 ;- 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。![范式建模](https://cdn.jsdelivr.net/gh/sunmyuan/cdn/210316_3.png)根据 Inmon 的观点,数据仓库模型的建设方法和业务系统的企业数据模型类似...
数仓黄金价值圈: 为什么、是什么、怎么做|社区征文
今天给大家一起分享下有着悠久历史的数据仓库的一些思考由三部分组成为什么,搭建数据仓库是什么,数据仓库定义怎么做,如何搭建数仓# 一:为什么,搭建数据仓库最终目标:**数据驱动资源优化配置,即科学、高效... 指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区,同时又承担基础数据记录历史变化,之所以保留原始数据和线上原始数据保持一致,方便后期数据核对需要。- CDM:通用数据模型,又称为数据...

数据仓库模型设计工具箱-相关内容

ELT in ByteHouse 实践与展望

格式各异的数据提取到数据仓库中,并进行处理加工。 传统的数据转换过程一般采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,因而维护成本较高。... 加载至目的端(数据仓库)的过程。Transform通常描述在数据仓库中的前置数据加工过程。- ELT专注于将最小处理的数据加载到数据仓库中,而把大部分的转换操作留给分析阶段。相比起ETL,它不需要过多的数据建模,而给分...

数仓进阶篇@记一次BigData-OLAP分析引擎演进思考过程 | 社区征文

数仓多维数据模型详细设计,欢迎一起加入交流探讨,希望能给读者在实际业务场景-OLAP分析演进过程中有些不一样的IDea。 ## 场景目前数据存储的业务类型-**OLTP**,**OLAP......****1、** 其中一种是企业知识库... 兼顾数据仓库,具有实时,批处理,多并发等优点。![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/54d03572d84c4a95a31bf3979818d997~tplv-k3u1fbpfcp-5.jpeg?)**Java接入:** ![image.png]...

ByteHouse技术白皮书正式发布,云数仓核心技术能力首次全面解读

基于云原生架构的数据仓库百花齐放,快速迭代。相比起传统数仓,云原生数据仓库凭借更灵活、更具弹性化的特性,以及有效降低资源、人力成本的能力,在云市场上受到越来越多的关注,逐渐成为企业数字化基础设施中的关键“底座”。 《火山引擎云原生数据仓库 ByteHouse 技术白皮书》简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型...

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

观点|SparkSQL在企业级数仓建设的优势

数据仓库的事实标准和数据处理工具,Hive已经不单单是一个技术组件,而是一种设计理念。Hive有JDBC客户端,支持标准JDBC接口访问的HiveServer2服务器,管理元数据服务的Hive Metastore,以及任务以MapReduce分布式... 数仓在构建的时候通常需要ETL处理和分层设计,基于业务系统采集的结构化和非结构化数据进行各种ETL处理成为DWD层,再基于DWD层设计上层的数据模型层,形成DM,中间会有DWB/DWS作为部分中间过程数据。从技术选型来...

干货 | 看 SparkSQL 如何支撑企业级数仓

本文作者:惊帆 来自于数据平台 EMR 团队# 前言Apache Hive 经过多年的发展,目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具,Hive 已经不单单是一个技术组件,而是一种设计理念。Hive 有 JDB... 数仓在构建的时候通常需要 ETL 处理和分层设计,基于业务系统采集的结构化和非结构化数据进行各种 ETL 处理成为 DWD 层,再基于 DWD 层设计上层的数据模型层,形成 DM,中间会有 DWB/DWS 作为部分中间过程数据。从技...

SparkSQL 在企业级数仓建设的优势

**惊帆** 来自 字节跳动数据平台 EMR 团队# 前言Apache Hive 经过多年的发展,目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具,Hive 已经不单单是一个技术组件,而是一种设计理念。Hive 有... 数仓在构建的时候通常需要ETL处理和分层设计,基于业务系统采集的结构化和非结构化数据进行各种ETL处理成为DWD层,再基于DWD层设计上层的数据模型层,形成DM,中间会有DWB/DWS作为部分中间过程数据。从技术选型来说,...

ELT in ByteHouse 实践与展望

格式各异的数据提取到数据仓库中,并进行处理加工。传统的数据转换过程一般采用 Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的 ETL 系统,因而维护成本较高。... 加载至目的端(数据仓库的过程。Transform 通常描述在数据仓库中的前置数据加工过程。* ELT 专注于将最小处理的数据加载到数据仓库中,而把大部分的转换操作留给分析阶段。相比起 ETL,它不需要过多的数据建模,而给分...

功能发布历史

2024 年 1 月变更 说明 发布时间 相关文档 智能降冷策略 新增:支持您对服务内存储的文件进行降冷操作,满足您资源周期性降冷/删除场景需求 2024-01-31 智能降冷策略 计费概述 后付费 资源管理 新增:批量删除、批量修改资源存储类型、批量恢复资源 删除资源 修改资源存储类型 恢复资源 用量统计 新增:资源占用量模块支持展示各类型存储用量和数据取回用量 用量统计 盲水印 新增: 添加水印模型:文本嵌入基础模型(彩色图片通...

面向智能化BI分析平台建设的初步探索 | 社区征文

### 1、BI的起源与发展 BI又称商业智慧或商务智能,是指用现代数据仓库技术、线上分析处理技术、数据挖掘以及数据展现技术进行数据分析以实现商业价值。 商业智能的概念最早在1996年由加特纳集团提出,加特纳... 已经有丰富的BI分析模型供分析师或业务人员使用。在进行数据分析时通常需要使用各种模型来验证自己的分析观点,一是为了使自己的结论更具备说服力,二是让自己的论证过程更具备逻辑性和条理性。常见的分析方法如RFM模...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

数据智能知识图谱
火山引擎数智化平台基于字节跳动数据平台,历时9年,基于多元、丰富场景下的数智实战经验打造而成
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询