支持实时数据处理的场景和需求。相比 DataStream 作业,SQL 作业在开发成本和维护成本上都具有非常大的优势,无需掌握复杂的开发语言,编程环境等等,无需经历打包,部署等耗时的流程,简单地编辑 SQL 语句即可创建拥有复杂逻辑的流式任务。然而,对用户屏蔽掉底层细节,意味着 SQL 作业会丧失一些代码层面的灵活度。其中一个非常重要的话题就是 SQL 作业迭代中状态的保持——状态迁移。**现状**![picture.image](https://p6...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPEATAB...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
Flink SQL 作为实时数仓建设中重要的工具,能够帮助用户快速开发流式任务,支持实时数据处理的场景和需求,本文将分享 SQL 作业迭代中状态的保持——状态迁移相关的现状、问题解决及未来规划。作者|字节跳动基础架构工程师-周伊莎 **01** **背 景** Flink SQL 作为实时数仓建设中重要的工具,能够**帮助用户快速开发流式任务,支持实时数据处理的场景和需求**。相比 Data...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 当目标库部署在 IDC 或 ECS 中,且通过公网连接时,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 创建数据迁移任务之前,请确认源库和目标库的网络连...
产品定义云数据库 SQL Server 版是火山引擎基于世界一流的商用型数据库产品 Microsoft SQL Server 打造的一种稳定、可靠、可弹性伸缩的在线数据库服务。SQL Server 实例采用云原生方式部署,通过结合极速型 SSD 云盘,提供了高性能读写能力。云数据库 SQL Server 版能够完全兼容微软生态下的各类应用,并提供实例管理、备份恢复、日志管理、监控告警、数据迁移等全套解决方案,帮助企业简化繁杂的数据库管理和运维任务,使企业有更多的...
已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 当目标库部署在 IDC 或 ECS 中,且通过公网连接时,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可...
数据库传输服务 DTS 提供多种类型的数据库迁移服务。本文以创建火山引擎版 MySQL 迁移至火山引擎版 MySQL 任务为例,介绍如何通过数据库传输服务 DTS 创建并启动数据迁移任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 MySQL 版实例和数据库。详细信息,请参见创建 RDS MySQL 实例和创建数据库。 创建数据迁移任务之前,请确认源库和目标库的...
本场景介绍如何在数据库传输服务 DTS 控制台创建公网自建 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 当源库、目标库部署在 IDC 或 ECS 中,且通过公网连接,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 创建数据迁移任务之前,请确认源库和目标库的网络连通...
数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可以根据预检查项中的说明,来检查源库和目标库中各迁移对象做相应准备。更多详情,请参见预检查项(PostgreSQL)。 注意事项当未勾选增量迁移时,数据迁移期间请勿在源库...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MySQL 迁移至公网自建 MySQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据迁移时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在...
已在火山引擎的 ECS 中自行搭建 MySQL,并创建数据库账号。 已在公网环境中自行搭建 MySQL,并创建数据库账号。 当源库部署在火山引擎的 ECS 中通过私网连接,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 当目标库部署在 IDC 或 ECS 中,且通过公网连接,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可以...