数据仓库与商业智能论坛
社区干货
面向智能化BI分析平台建设的初步探索 | 社区征文
是指用现代数据仓库技术、线上分析处理技术、数据挖掘以及数据展现技术进行数据分析以实现商业价值。 商业智能的概念最早在1996年由加特纳集团提出,加特纳集团在商业智能的定义中指出,商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,并将这些数据转化为有用的信息,然后分发到企业各处。
特惠活动
数据仓库与商业智能论坛-优选内容
数据仓库与商业智能论坛-相关内容
SparkSQL 在企业级数仓建设的优势
**惊帆** 来自 字节跳动数据平台 EMR 团队# 前言Apache Hive 经过多年的发展,目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具,Hive 已经不单单是一个技术组件,而是一种设计理念。Hive 有... 开源或商业BI工具都支持通过标准JDBC的方式连接Hive,可以支持数据探索的动作,极大的丰富了大数据生态圈下的组件多样性,同时也降低了使用门槛,可以让熟悉SQL的人员低成本迁移。 基于这些设计非常好的特效,加上Hiv...
火山引擎ByteHouse:4000字总结,Serverless在OLAP领域应用的五点思考
在OLAP数据分析领域,我们先看哪些分析模式不适用于Serverless架构:1. **长任务,大Job:** 如果分析任务需要长时间运行(如超过20分钟),使用 Serverless 技术会受到限制。因为 Serverless 平台通常设置了最大运行时间的限制,超过限制时间会导致任务中断。2. **计算密集型**:Serverless 技术通常适用于处理轻量级任务,而对于高计算密集型任务,需要更多计算资源,但行业上目前当前尚未有商用的Serverless 数据仓库能够提供超过20...
干货 | 这样做,能快速构建企业级数据湖仓
案例或者商业公司,比如 Data Bricks、基于 Iceberg 的 Tabluar以及基于 Hudi 的 OneHouse 公司。通过这些公司的商业产品,底层组件、运维和优化都交由商业产品解决,有效减轻负担。而且商业公司还有能力提供上层的... 近几年热门的 ClickHouse 和 Doris 也是 Native 化的表现。### **第二,向量化。**Codegen 和向量化都是从数据仓库,而不是 Hadoop 体系的产品中衍生出来。Codegen 是 Hyper 提出的技术,而向量化则是 Mone...
新功能发布记录
流水线支持镜像源触发 火山引擎的镜像仓库发生符合条件的推送镜像事件后,可自动触发流水线运行。 全部 2024-02-06 镜像源 Webhook 触发 应用托管正式开放 应用托管为用户提供以应用为核心,一键弹性容器化部署的应... 构建加速服务正式商用 经过 3 个月稳定公测,构建加速服务正式商用。欢迎体验! 全部 2023-12-14 【产品变更】构建加速服务正式商业化公告 构建加速实例新增支持广州地域 构建加速实例在支持北京的基础上,新增支持...
干货|4000字总结,Serverless在OLAP领域应用的五点思考
作为一款火山引擎推出的云原生数据仓库,ByteHouse基于开源ClickHouse构建,并在字节跳动内外部场景的检验下,对OLAP引擎能力、性能、运维、架构进一步升级。 除此之外,**ByteHouse也在Serverless方向... 但行业上目前当前尚未有商用的Serverless 数据仓库能够提供超过2000 vcore的算力规模,而2000vcore折算成通用的物理机或裸金属,也不过是20台服务器的算力规模,往往一些中型的分析型系统的算力需求就远远超过这个规模...
OLAP进阶之“性能提升”
准确的数据分析需求至关重要。 火山引擎正式发布《云原生数据仓库ByteHouse性能白皮书》,白皮书通过使用 SSB 100G、TPC-H 100G、TPC-DS 100G 数据集进行性能测试,展示出 ByteHouse 在查询效率方面的显著成果... 在大数据和实时分析的时代,在很多业务场景,比如广告等,都对OLAP点查能力有强需求。高并发点查对于商业决策、市场分析、用户行为研究场景中的使用体验和查询精准度都起到重要作用。如果OLAP系统的高并发点查能力不...
LAS Spark 在 TPC-DS 的优化揭秘
文章主要介绍了火山引擎湖仓一体分析服务 LAS Spark(下文以 LAS Spark 指代)在 TPC-DS 上的性能突破与优化策略。TPC-DS 是一个模拟复杂数据仓库环境的测试基准,LAS Spark 通过采用规则优化、缓存优化和运行时优化三... 分析的数据量大,并且测试案例是在回答真实的商业问题;- 测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等);- 几乎所有的测试案例都有很高的 IO 负载和 CPU 计算需求。TPC-DS...
干货 | 看 SparkSQL 如何支撑企业级数仓
本文作者:惊帆 来自于数据平台 EMR 团队# 前言Apache Hive 经过多年的发展,目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具,Hive 已经不单单是一个技术组件,而是一种设计理念。Hive 有 JDB... 开源或商业 BI 工具都支持通过标准 JDBC 的方式连接 Hive,可以支持数据探索的动作,极大的丰富了大数据生态圈下的组件多样性,同时也降低了使用门槛,可以让熟悉 SQL 的人员低成本迁移。基于这些设计非常好的特效,加...
当OLAP碰撞Serverless,看ByteHouse如何建设下一代云计算架构
作为一款火山引擎推出的云原生数据仓库,ByteHouse 基于开源 ClickHouse 构建,并在字节跳动内外部场景的检验下,对 OLAP 引擎能力、性能、运维、架构进一步升级。除此之外,ByteHouse 也在 Serverless 方向探索,基于 ... 数据库、AI 等 IT 领域几乎全栈的技术点,需要厂商做持续的、高成本的研发投入。而且这些投入短期内难见市场回报,一旦中途停顿则意味着前期的投入全都“打水漂”。 其次,虽然已经有几款商用的 Serverless 架构...
