工具,能够帮助用户快速开发流式任务,支持实时数据处理的场景和需求。相比 DataStream 作业,SQL 作业在开发成本和维护成本上都具有非常大的优势,无需掌握复杂的开发语言,编程环境等等,无需经历打包,部署等耗时的流程,简单地编辑 SQL 语句即可创建拥有复杂逻辑的流式任务。然而,对用户屏蔽掉底层细节,意味着 SQL 作业会丧失一些代码层面的灵活度。其中一个非常重要的话题就是 SQL 作业迭代中状态的保持——状态迁移。**现状...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
Flink SQL 作为实时数仓建设中重要的工具,能够帮助用户快速开发流式任务,支持实时数据处理的场景和需求,本文将分享 SQL 作业迭代中状态的保持——状态迁移相关的现状、问题解决及未来规划。作者|字节跳动基础架构工程师-周伊莎 **01** **背 景** Flink SQL 作为实时数仓建设中重要的工具,能够**帮助用户快速开发流式任务,支持实时数据处理的场景和需求**。相比 Data...
**SQL Server有新增签署文件时同步到e签宝 天印平台发起签署******集成应用:****SQL Server + webhook + 文件格式转换 + e签宝 天印平台 + 文本处理[![picture.image](https://p6-volc-community-... 常常需要同步到SQL Server数据库中保存,还需要在e签宝走签署流程。通过此流程,可以实现:SQL Server新增的文件自动同步至e签宝天印平台发起签署,省去手动上传的麻烦,提高工作效率,减少错误率。 **适用人群...
数据库传输服务 DTS 提供多种类型的数据库迁移服务。本文以创建火山引擎版 MySQL 迁移至火山引擎版 MySQL 任务为例,介绍如何通过数据库传输服务 DTS 创建并启动数据迁移任务。 前提条件已注册火山引擎账号并完成实... 为实时保障数据的一致性,建议您选择结构迁移、全量迁移和增量迁移。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据迁移过程中,需要注意以下几点: 当需要使用在...
Flink SQL 作为实时数仓建设中重要的工具,能够帮助用户快速开发流式任务,支持实时数据处理的场景和需求,本文将分享 SQL 作业迭代中状态的保持——状态迁移相关的现状、问题解决及未来规划。作者|字节跳动基础架构工程师-周伊莎 **01** **背 景** Flink SQL 作为实时数仓建设中重要的工具,能够**帮助用户快速开发流式任务,支持实时数据处理的场景和需求**。相比 Data...
全量迁移和增量迁移。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据迁移过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证迁移对象是整个数据库,否则会由于临时表无法迁移导致 DDL 失败。 迁移期间请勿使用在线 DDL 工具执行轻量 DDL 操作例如小表增加字段等,否则可能由于 DDL 临时表存在时间过短导致 DDL 迁移失败。 支持的 SQL 操作增量迁移支...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 迁移至火山引擎版 PostgreSQL 任务。 前提条件已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可以根据预检...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 迁移至火山引擎 PostgreSQL 任务。 前提条件已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 创建数据迁...
**SQL Server有新增签署文件时同步到e签宝 天印平台发起签署******集成应用:****SQL Server + webhook + 文件格式转换 + e签宝 天印平台 + 文本处理[![picture.image](https://p6-volc-community-... 常常需要同步到SQL Server数据库中保存,还需要在e签宝走签署流程。通过此流程,可以实现:SQL Server新增的文件自动同步至e签宝天印平台发起签署,省去手动上传的麻烦,提高工作效率,减少错误率。 **适用人群...
**SQL Server有新增签署文件时同步到e签宝 天印平台发起签署******集成应用:****SQL Server + webhook + 文件格式转换 + e签宝 天印平台 + 文本处理[![picture.image](https://p3-volc-community-... 常常需要同步到SQL Server数据库中保存,还需要在e签宝走签署流程。通过此流程,可以实现:SQL Server新增的文件自动同步至e签宝天印平台发起签署,省去手动上传的麻烦,提高工作效率,减少错误率。 **适用人群...
本场景介绍如何在数据库传输服务 DTS 控制台创建公网自建 PostgreSQL 迁移到火山引擎版 PostgreSQL 任务。 前提条件已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在 IDC 或 ECS 中,且通过公网连接时,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 当目标库部署在火山引擎的 ECS 中,且开启了访问限制...
全量迁移和增量迁移。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据迁移过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证迁移对象是整个数据库,否则会由于临时表无法迁移导致 DDL 失败。 迁移期间请勿使用在线 DDL 工具执行轻量 DDL 操作例如小表增加字段等,否则可能由于 DDL 临时表存在时间过短导致 DDL 迁移失败。 支持的 SQL 操作增量迁移支持...