## 前言我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓库(如Teradata ),抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库,其实都面临如下问题:- 怎么组织数... 也为我们后面讲Hadoop 数据仓库实战打下基础。## 维度建模关键概念### 度量和环境维度建模是支持对业务过程的分析,所以它是通过对业务过程度量进行建模来实现的。> **那么,什么是度量呢?**实际上,我们通过...
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... 支持用户请求的统一接入,转发路由;同时也能结合业务提供用户权限和流量控制能力。另外,该接入层也需要提供对外的目录树统一视图。接入层从部署形态上来讲,依赖于一些外部组件如 Redis,MySQL 等,会有一批无状态的...
然后着重学习Hadoop核心技术如HDFS和MapReduce;接触数据库Hive后,学习数据流技术Kafka和分布式协调服务Zookeeper。深入研究Yarn和求执行引擎Spark。此外还了解其他技术如HBase、Sqoop等。同时学习计算机网络知识和操作系统原理。后面再系统学习关系数据库MySQL和数据仓库理论。学习分布式原理和架构也很重要。这个学习顺序参考了我之前的工作和学习经历情况后订定。需要注意,大数据领域的技术很多很广,如Flink也值得研究。本人给...
众所周知,基于 Hadoop 的 EMR 体系发展到现在,经历了很多个阶段。从基于 IDC 机房通过 CDH 去部署的 1. 0 阶段,演进到在公有云上面按照存算分离的办法去进行的 2. 0 阶段。而在这些基础上,火山引擎数智平台 VeDI... 用户集群包含了离线分析(Hadoop 体系)、实时计算( Flink 体系)、交互式分析、 NoSQL 数据库以及机器学习等相关内容。这个是带有计算特性的集群中,所有带有状态部分的内容都被剥离了。Stateless把 History Serverhe...
本文以云数据库 MySQL 版为例,介绍如何在数据库工作台 DBW 的数据交互台中通过执行命令实现表的全生命周期。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建实例和创建账号。 说明 您创建的账号需要有对应数据库的查询、修改等对应权限。 操作步骤下文以数据库 test,表 table 为例,介绍如何在数据交互台执行命令实现表的全生命周期。 登录云数据库 MySQ...
为什么云数据库 MySQL 版不支持 MyISAM 引擎、 Memory 引擎?云数据库 MySQL 版在 MySQL 5.7 及以上版本中默认支持 InnoDB 引擎,不再支持 MyISAM 引擎和 Memory 引擎,主要原因是: 云数据库 MySQL 版对 InnoDB 做了很多内核优化,已具备明显的性能优势。 MyISAM 采用的是表级锁机制,而 InnoDB 采用的是行级锁机制,InnoDB 在通常情况下具备更高的写入效率。 MyISAM 对数据完整性的保护存在缺陷,这些缺陷会导致数据库数据的损坏甚至...
本文介绍火山引擎 E-MapReduce(EMR) 支持的集群类型以及各集群相关的操作。 集群 描述 重要操作 Hadoop Hadoop生态圈的基础服务组件,HDFS,YARN,MapReduce组件。 提供离线数据分析,Hive、Spark、Tez。 提供实时数... 支持多种数据源,如 Hive, MySQL,MongoDB,Redis 等。 Presto基础使用 Presto高阶使用 Trino 开源分布式 SQL 查询引擎,支持PB级别数据的交互式分析;本身不存储数据,结合云存储,天然形成存算分离的架构进行弹性数...
本文介绍如何登录云数据库 veDB MySQL 版的数据交互台。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建实例和创建账号。 注意事项当您选... 通过数据库工作台 DBW 控制台登录数据交互台登录 DBW 控制台。 在顶部菜单栏,选择地域。 按需选择以下方式登录数据库交互台: 方式一:在左侧导航栏,选择数据管理 > 数据交互台。 方式二: 在实例列表页面,找到目...
当前运维管理支持的数据库包括云数据库 MySQL 版、云数据库 veDB MySQL 版。其中,运维观测功能包含会话管理、慢日志分析、审计日志、事务与锁功能。
本文介绍云数据库 MySQL 版为数据库版本 MySQL 8.0 提供的可修改参数,以及参数的默认值、修改后是否需要重启和取值范围。 序号 参数名 参数默认值 是否需要重启 取值范围 1 auto_increment_increment 1 否 [1-6553... 常见问题如何查询云数据库 MySQL 版不支持修改的参数的设定值?可登录数据库工作台,使用 SQL 语句 SHOW variables like '参数名'查看。 .volc-md-viewer .custom-md-table th { --width: 5...
1 创建实例1)使用demo02进入火山引擎产品,选择「云数据库MySQL版」,区域选北京,详情可参考链接2)点击创建实例3)实例名称:DataLeap_MySQL_Private_Workshop(示例名称) 数据库类型:mysql社区版 兼容版本:5.7 实例类... 点击创建数据库8)输入数据库名称:mysqldb ,支持字符集(默认):utf8 点击确定 【重要】:确认私有网络与数据集成资源组使用相同VPC环境 3 测试数据链接并导入数据说明 请选择一款您喜好的RDS客户端工具,注意是2选1【D...
本文介绍云数据库 MySQL 版为数据库版本 MySQL 5.7 提供的可修改参数,以及参数的默认值、修改后是否需要重启和取值范围。 序号 参数名 参数默认值 是否需要重启 取值范围 1 auto_increment_increment 1 否 [1-6553... 189 slave_parallel_type LOGICAL_CLOCK 否 [DATABASELOGICAL_CLOCK] 190 slave_type_conversions - 是 [空ALL_LOSSYALL_NON_LOSSYALL_LOSSY,ALL_NON_LOSSYALL_SIGNEDALL_UNSIGNEDALL_SIGNED,ALL_UNSIGNED] 191 s...
若要使用云数据库 veDB MySQL 版,您需要在实例中创建数据库。本文介绍如何为 veDB MySQL 实例创建数据库。 前提条件已创建实例,实例处于运行中状态。 操作步骤登录云数据库 veDB MySQL 版控制台。 在顶部菜单栏的... 数据库名称不能使用 root、admin 和某些预留字段,详情请参见禁用关键词。 支持字符集 数据库支持的字符集。可设置为 utf8、latin1、utf8mb4 或 ascii。 授权账号 为普通账号授予当前数据库的权限。支持的权限类...