# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPEATAB...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
### 1、场景介绍某银行业务人员想要查询某款理财产品中原财富1号9月销售额度,对于数据工程人员则会考虑写一个SQL语句:`Select sum(sale) from table_name where month= 9 and product_name =‘中原财富1号’`业务人员一般不具有SQL编程能力,而对于上述这些语句比较简单,但问题发散的场景,业务人员想要查询相应的结果需要找到数据工程人员完成相关流程。流程比较繁琐,而通过nl2sql技术,则可直接将问题转换成相对应的SQL语句用...
> 本文结构采用宏观着眼,微观入手,从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就是一个 SQL 解析引擎,因为它即不负责存储数据,也不负责计算数据,只负责解析 SQL,记录元数据。Hive直接访问存储在 HDFS 中或者 HBase ...
云数据库 SQL Server 版拥有正版授权,能够高度兼容微软生态下的各类应用,并提供实例管理、备份恢复、日志管理、监控告警、数据迁移等全套解决方案,帮助企业更多聚焦于自己的核心业务。
本场景介绍如何在数据库传输服务 DTS 控制台创建公网自建 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 当源库、目标库部署在 IDC 或 ECS 中,且通过公网连接,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 创建数据迁移任务之前,请确认源库和目标库的网络连通...
本场景介绍如何在数据库传输服务 DTS 控制台创建公网自建 PostgreSQL 迁移到火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在 IDC 或 ECS 中,且通过公网连接时,您需...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 迁移至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 迁移至火山引擎 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 当源库、目标库部署在火山...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 迁移至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中...
数据库传输服务 DTS 提供多种类型的数据库迁移服务。本文以创建火山引擎版 MySQL 迁移至火山引擎版 MySQL 任务为例,介绍如何通过数据库传输服务 DTS 创建并启动数据迁移任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。 创建数据迁移任务之前,请确认源库和目标库的...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 迁移至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据迁移时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在...