支持实时数据处理的场景和需求。相比 DataStream 作业,SQL 作业在开发成本和维护成本上都具有非常大的优势,无需掌握复杂的开发语言,编程环境等等,无需经历打包,部署等耗时的流程,简单地编辑 SQL 语句即可创建拥有复杂逻辑的流式任务。然而,对用户屏蔽掉底层细节,意味着 SQL 作业会丧失一些代码层面的灵活度。其中一个非常重要的话题就是 SQL 作业迭代中状态的保持——状态迁移。**现状**![picture.image](https://p3...
# 前言在云计算的时代,数据是公司最宝贵的资产,而数据库在数据的产生,存储,消费的各个阶段都扮演着不可或缺的角色。数据库迁移是实现业务上云最重要的环节。本章节主要关注在数据库迁移前的环境摸排,对现有环境做... plpgsql | 1.0 | pg_catalog | PL/pgSQL procedural language(2 rows)````## 6. 关键参数对于数据库的关键参数,应该在迁移准备工作之前在目标库进行配置好,避免在迁移完成之后产生任何性能问题。# ...
与传统的单机数据库相比,TiDB 具有以下优势:- 纯分布式架构,拥有良好的扩展性,支持弹性的扩缩容- 支持 SQL,对外暴露 MySQL 的网络协议,并兼容大多数 MySQL 的语法,在大多数场景下可以直接替换 MySQL- 默认支持高可用,在少数副本失效的情况下,数据库本身能够自动进行数据修复和故障转移,对业务透明- 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账- 具有丰富的工具链生态,覆盖数据迁移、同步、备份...
> 本文结构采用宏观着眼,微观入手,从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就是一个 SQL 解析引擎,因为它即不负责存储数据,也不负责计算数据,只负责解析 SQL,记录元数据。Hive直接访问存储在 HDFS 中或者 HBase ...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在火山引擎的 ECS 中自行搭建 MySQL,并创建数据库账号。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 当源库部署在火山引擎的 ECS 中通过私网连接,且开启了访问限制时,您需要在 ECS 的安全组规则中添...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。 已在公网环境中自行搭建 MySQL 实例和数据库。 当源库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据迁移时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 veDB MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 veDB MySQL 版实例和数据库。详细信息,请参见创建 veDB MySQL 实例和创建数据库。 已在火山引擎的 ECS 中自行搭建 MySQL,并创建数据库账号。 当源库部署在火山引擎的 ECS 中通过私网连接,且开启...
veDB MySQL 实例支持修改数据库名称吗?不支持,因为 MySQL 原生也是不支持修改数据库名称的。若必须要变更,您可以参考以下方案转移库表: 方法一:通过 mysqldump 导出数据,再新建一个库导入。该方法相对比较保险,但数据量较大时会比较耗时。 方法二:通过 rename 数据库里面的表,SQL 操作详情请参见 MySQL 文档。该方法相比 mysqldump 速度较快,但风险较高,例如可能会导致视图不可用,因为视图名称虽然发生了变更,但创建语句中引用的...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 MySQL 迁移至火山引擎版 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可以根据预检查项中的说明,来检查源库和目标...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 MySQL 迁移至火山引擎版 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在火山引擎的 ECS 中自行搭建 MySQL,并创建数据库账号。 已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。 当源库、目标库部署在火山引擎的 ECS 中通过私网连接...
本文汇总数据库传输服务 DTS 的 API 接口中使用的数据结构定义详情。 AccountMapping账号信息。在 TaskType 取值为 DataMigration 、ProgressType 取值为 Account 时,可设置的参数信息。被以下接口引用: MySQL2MySQLSettings 参数 类型 是否必选 描述 示例值 Account String 是 待迁移的账号名称。 test**** ResetPassword Bool 否 是否重置密码,取值如下: true:表示重置新密码。 false:表示不重置新密码。默认值。 true Pa...
不会。在数据迁移过程中,迁移任务只会对源端数据执行 select 操作,从而会导致 I/O 的增加,但不会对源端数据造成影响。