数据仓库在银行业中的应用
社区干货
基于Flink+Paimon的流式湖仓探索|社区征文
最开始实时数据加工模式是“端到端”的烟囱式开发,经过一年多的实时需求开发积累,发现存在诸多问题,比如:只支持增量计算、基础ETL操作重复开发、中间结果无法持久化。伴随着湖仓技术的不断发展,公司在2023年启动对流式湖仓的探索,笔者有幸参与其中,希望分享下项目开发经验以及个人技术成长心得。# 一、流式湖仓的建设背景在数字化转型驱动下,数字资源价值加速释放,实时化需求日益成为银行业数据应用新常态,用以准确、实时地感知...
浅谈大数据建模的主要技术:维度建模 | 社区征文
还是基于传统 MPP 架构的数据仓库(如Teradata ),抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库,其实都面临如下问题:- 怎么组织数据仓库中的数据?- 怎么组织才能使得数据的使用最为方便... 可以把各个地方仓库的库存加起来,或者把一个仓库不同的商品加起来,但是很明显不能把一个仓库同一商品在不同时期的库存加起来。银行的账户余额也是半可加事实的例子,可以把不同分行的账户余额加起来或者不同账户人...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。 以下为 ByteHouse 技术白皮书前两个版块摘录。# 1.ByteHouse 简介ByteHouse 是字节跳动自主研发的云原生数据仓库产品,在开源 Cli... ByteHouse 在字节跳动内部部署规模超过 1 万 8000 台,单集群超过 2400 台。经过内部数百个应用场景和数万用户锤炼,并在多个外部企业客户中得到推广应用。## 产品特性**ByteHouse 以提供高性能、高资源利用率、...
浅谈数仓建设及数据治理 | 社区征文
## 一、前言在谈数仓之前,先来看下面几个问题:### 1. 数仓为什么要分层?1. 用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业... 多张银行卡,那么与用户粒度相同的粒度属性有身份证粒度,户籍地址粒度,比用户粒度更细的粒度有手机号粒度,银行卡粒度,存在一对一的关系就是相同粒度。为什么要提相同粒度呢,因为维度建模中要求我们,在**同一事实表*...
特惠活动
数据仓库在银行业中的应用-优选内容
数据仓库在银行业中的应用-相关内容
ByteHouse:基于ClickHouse的实时数仓能力升级解读
ByteHouse是火山引擎上的一款云原生数据仓库,为用户带来极速分析体验,能够支撑实时数据分析和海量数据离线分析。便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性,助力客户数字化转型。全篇将从两个版块讲解ByteHouse的技术业务场景及实践经验。第一版块将核心介绍ByteHouse于字节内部的业务应用场景,以及使用ClickHouse打造实时数仓的经验。第二板块将集中讲解字节基于ByteHouse对金融行业实时数仓的现状的理解与思考。...
面向智能化BI分析平台建设的初步探索 | 社区征文
### 1、BI的起源与发展 BI又称商业智慧或商务智能,是指用现代数据仓库技术、线上分析处理技术、数据挖掘以及数据展现技术进行数据分析以实现商业价值。 商业智能的概念最早在1996年由加特纳集团提出,加特纳集团在商业智能的定义中指出,商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,并将这些数据转化为有...
应用场景
应用场景1 云原生数据湖仓数据湖仓是一种结合了数据湖和数据仓库的新型数据架构,实现了更加灵活、高效和可扩展的数据管理,能够协助企业更好的理解和使用数据资产,提升业务价值。以互联网行业为例,企业需要搭建数据... 数据指标经计算后存入ADS层。数据支撑在线更新。由Doris/StarRocks对数据应用层提供服务,支持在线、离线查询分析,支持几十万级QPS。 3 离线/批量数据分析海量数据离线处理分析是大数据分析系统中的通用场景,企业将...
DataLeap数据仓库流程最佳实践
这里选择已创建的湖仓一体服务完成上述步骤之后,创建好的DataLeap项目如下: 本Demo中以湖仓一体LAS的样例数据为实验数据(TPC-DS中的样例表:https://www.volcengine.com/docs/6492/81953) 步骤3:导入样例数据导入数... 我们的数据分析需求如下:1)“查看最近三天商店销售额情况(未促销)TOP3”2)“查看最近三天消费最多的用户与金额TOP3”3)“获取商店地域分布情况” 经典数据仓库按照大类分为基础数据层、应用数据层。 本样例中,我们...
云原生数据仓库ByteHouse性能白皮书(企业版)|火山引擎
白皮书下载 下载《云原生数据仓库ByteHouse性能白皮书(企业版)》 白皮书简介 在选择OLAP引擎时,性能是一个重要的因素。高性能,意味着:更短响应时间、更快处理能力、更好用户体验...... ByteHouse 是火山引擎自主研... 这些改进旨在缩短查询执行时间、优化资源利用,提供更流畅的数据分析体验。通过智能优化算法和先进的执行技术,ByteHouse 能够更好地应对各种复杂的查询场景。 点击这里,即刻获取完整白皮书。
一文读懂火山引擎云数据库产品及选型
银行交易、在线订单处理等。OLAP(Online analytical processing) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重分析决策支持,并且提供直观易懂的查询结果,主要跟大数据系统关系紧密。OLTP 与 OLAP 系统之间通常会使用 ETL 进行连接。**本文主要侧重于 OLTP 系统的选型指南,也就是上图中圆圈...
干货 | 这样做,能快速构建企业级数据湖仓
现在业界已经有基于 Table Format 应用的经验、案例或者商业公司,比如 Data Bricks、基于 Iceberg 的 Tabluar以及基于 Hudi 的 OneHouse 公司。通过这些公司的商业产品,底层组件、运维和优化都交由商业产品解决... Codegen 和向量化都是从数据仓库,而不是 Hadoop 体系的产品中衍生出来。Codegen 是 Hyper 提出的技术,而向量化则是 MonetDB 提出的,所以计算引擎的精细化也是沿着数仓开辟的路子在走。Spark 等 Hadoop 体系均走...
一文读懂火山引擎云数据库产品及选型
银行交易、在线订单处理等。OLAP(Online analytical processing) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重分析决策支持,并且提供直观易懂的查询结果,主要跟大数据系统关系紧密。OLTP与OLAP系统之间通常会使用ETL进行连接。本文主要侧重于OLTP系统的选型指南,也就是上图中圆圈中的范围...
风很大的“云数仓”到底怎么用?三家企业交出答卷
精细化营销不仅意味着要在数以亿计的人群中优选出那些最具潜力的目标受众;同时,从成本层面看,还需要稳定高效的实时计费控制能力,以便能够精准地调整广告投放策略。 这些需求无疑对提供基础引擎支持的数据仓库能力,提出了极大的技术挑战。 第一个挑战是数据量。精细化营销所筛选的人群包以及人群基数都是巨大的,做交并补计算所需的大量数据导致查询复杂度高,找定向人群的难度就像是在海洋中寻找一颗特定的珍珠,无疑需...
