跨数据库复制
社区干货
PostgreSQL 中逻辑复制的使用场景
# 前言在这篇文档中[1],我们了解了物理复制和逻辑复制的区别,本章内容主要聚焦于逻辑复制的使用场景,当了解了适用场景后,会使得业务架构更加灵活。## 场景一:数据汇总与拆分当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据...
PostgreSQL中的物理复制和逻辑复制
# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中如果想要实...
自建数据库与RDS性能对比注意事项
那么应用与数据库之前的网络路径更短。# 实例规格本地自建数据库,与 ECS 自建数据库和 RDS实例请保持相同的 CPU 核数与内存大小。同时,磁盘性能需要重点考虑,主要有如下几点:1. 本地盘还是云盘,云盘的网络访问路径更长。2. 磁盘类型与最大 IOPS,最大吞吐量。# 数据库版本自建数据库与 RDS 请保持相同的版本,请不要跨多个版本进行性能测试# 数据复制方式常见的主备节点之间的数据复制方式分为异步、半同步和增强半同步...
自建数据库与RDS性能对比注意事项
那么应用与数据库之前的网络路径更短。# 实例规格本地自建数据库,与 ECS 自建数据库和 RDS实例请保持相同的 CPU 核数与内存大小。同时,磁盘性能需要重点考虑,主要有如下几点:1. 本地盘还是云盘,云盘的网络访问路径更长。2. 磁盘类型与最大 IOPS,最大吞吐量。# 数据库版本自建数据库与 RDS 请保持相同的版本,请不要跨多个版本进行性能测试# 数据复制方式常见的主备节点之间的数据复制方式分为异步、半同步和增强半...
特惠活动
跨数据库复制-优选内容
跨数据库复制-相关内容
普通拷贝(.NET SDK)
您可以通过 copy_object 接口,在同一地域的存储桶之间拷贝对象,也可以在同一个存储桶内拷贝对象。拷贝时可以指定新的元数据信息或保持源对象的元数据信息。 注意事项不支持跨区域的存储桶之间拷贝对象。 拷贝对象时,账号必须具备源对象的读取权限和目标桶的写入权限。 拷贝对象时,可以保留所有元数据(默认值)或指定新的元数据。但 ACL 并未被保留,而是设置为私有。 示例代码以下代码用于在同一地域的存储桶之间拷贝对象。 C usi...
复制迁移任务
火山引擎数据库传输服务 DTS 支持复制迁移任务,即可以实现复制出一个与已存在迁移任务相同配置的任务。同时,您也可以对成功复制的任务进行参数调整。本文介绍如何复制迁移任务。 前提条件已创建迁移任务。 注意事项在复制任务的过程中,需要确保源库和目标库的可用性以及迁移任务用户权限的一致性,否则可能会导致任务复制失败。 操作步骤登录 DTS 控制台。 在顶部菜单栏的左上角,选择项目和地域。 在左侧导航栏,单击数据迁移。 ...
普通拷贝(C++ SDK)
通过 copyObject 可以在同一地域的存储桶之间拷贝对象,也可以在同一个存储桶内拷贝对象。复制时可以设置指定新的元数据信息或保持源对象的元数据信息。 注意事项拷贝文件不支持跨区域的桶间拷贝。 拷贝对象时,账号必须具备源对象的读取权限和目标桶的写入权限。 拷贝对象时,可以保留所有元数据(默认值)或指定新的元数据。但 ACL 并未被保留,而是设置为私有。 示例代码 普通拷贝对象小于 5GiB 时,您可以使用普通拷贝。以下代码用...
普通拷贝(Node.js SDK)
通过 copyObject 可以在同一地域的存储桶之间拷贝对象,也可以在同一个存储桶内拷贝对象。复制时可以设置指定新的元数据信息或保持源对象的元数据信息。 注意事项拷贝文件不支持跨区域的桶间拷贝。 拷贝对象时,账号必须具备源对象的读取权限和目标桶的写入权限。 拷贝对象时,可以保留所有元数据(默认值)或指定新的元数据。但 ACL 并未被保留,而是设置为私有。 示例代码以下代码展示如何通过 copyObject 从桶 srcBucket 拷贝对象 ...
数据集列表管理
1. 数据集列表管理概述 数据集整个界面可以分为三个模块:1数据集创建、2数据集管理、3数据集列表。如下图所示,区域3为数据集列表。在列表区域,用户可以对数据集进行较多操作,包括基础信息查看、移动、删除、复制等。本文将对这些功能做出详细解释。 2. 功能介绍 2.1 基础信息点击基础信息,即可对数据集的信息进行设置,包含数据集名称以及对该数据集的描述。 2.2 移动数据集点击移动之后,该数据集将会移动到数据集的其他路径(文件...
普通拷贝(Go SDK)
通过 CopyObject 可以在同一地域的存储桶之间拷贝对象,也可以在同一个存储桶内拷贝对象。复制时可以设置指定新的元数据信息或保持源对象的元数据信息。 注意事项拷贝文件不支持跨区域的桶间拷贝。 拷贝对象时,账号必须具备源对象的读取权限和目标桶的写入权限。 拷贝对象时,可以保留所有元数据(默认值)或指定新的元数据。但 ACL 并未被保留,而是设置为私有。 示例代码go package mainimport ( "context" "fmt" "github.co...
字节跳动数据库的过去、现状与未来
又解决了传统通过 Binlog 跨多数据中心异步复制带来的 RPO 无法等于 0 的问题;* **高性能**:数据库团队做了大量优化工作,使 veDB 在高并发集群模式下的吞吐量 QPS 远超传统单机数据库;* **成本低**:按需独立扩缩计算/存储,存储层高压缩比,把存储空间利用率从第一代系统的 20%-30% 提升到了现在的 70%;* **超大容量**:单表 64 TB,并支持 PB-level 解决方案。 **业务实践** 在业务实践层面,数据库团队主...
使用 DTS 将阿里云的云数据库 Redis 版迁移至火山引擎
在业务低峰期执行数据迁移。 对于迁移失败的任务,DTS 会根据错误重试时间内自动恢复。当您需要将业务切换至目标实例时,请务必立即结束或释放该任务,避免该任务自动恢复后,导致源端数据覆盖目标端的数据。 多 DB 迁移场景下,需注意源数据库与目标数据库间的 DB 映射关系,避免出现非预期的数据覆盖。 当前仅支持迁移阿里云标准版 Redis 5、Redis 6 版本的数据库。 准备工作数据库类型 准备工作 说明 源端 创建具有复制权限的账...
字节跳动数据库的过去、现状与未来
又解决了传统通过 Binlog 跨多数据中心异步复制带来的 RPO 无法等于 0 的问题;- **高性能:** 数据库团队做了大量优化工作,使 veDB 在高并发集群模式下的吞吐量 QPS 远超传统单机数据库;- **成本低:** 按需独立扩缩计算/存储,存储层高压缩比,把存储空间利用率从第一代系统的 20%-30% 提升到了现在的 70%;- **超大容量:** 单表 64 TB,并支持 PB-level 解决方案。### 业务实践在业务实践层面,数据库团队主要面对以下三...
