# 前言PostgreSQL 中的逻辑流复制与消息队列中的发布者/订阅者模型非常相似,在发布者端将 WAL 日志流解析成一定格式的数据流,订阅者节点收到后进行应用,以此来达到数据同步的目的。本章内容将介绍如何使用逻辑流复制进行数据同步,可用于数据迁移等场景。# 先决条件在源库需要预先配置项如下:1. wal_level = logical2. max_replication_slots: 每个订阅需要消耗一个 slot。建议根据情况来进行设置。3. max_wal_senders,每...
# 问题背景线上 RDS for PostgreSQL 实例发现短时间内,从指标中查看到有如下信息:* 可用存储空间迅速降低* 此时实例并没有大量的 DML,而 WAL 日志却增长异常* CPU,内存,磁盘 IO / 带宽等指标均有突增# 问题... 触发 autovacuum 有如下两个条件:1. 表的年龄是否达到 autovacuum_freeze_max_age 配置值,如果达到,必须进行 aggresive vacuum2. 当表更新或者删除的元组数超过 autovacuum_vacuum_threshold + autovacuum_vacu...
* 新增集成应用:PostgreSQL* 更新集成应用:用友YonSuite* 更新集成应用:企业微信* 更新内置应用:抖音企业号* 更新集成应用:快递管家* 更新集成应用:金蝶云星辰 **新增集成应用-百家号**... MongoDB+企业微信:当符合指定条件的MongoDB数据变化时,例如用户成交时发送企业微信信息通过企业指定成员或者企业微信群中3、MongoDB+内容营销平台:当MongoDB有新增文章时,自动发布在内容营销平台4、MongoD...
# 前言从 on-premise 数据库迁移到火山引擎(ECS 自建或是RDS),您可能希望做一次全面的性能测试,本文主要说明在测试前,我们需要提前考虑哪些先决条件。在测试之前,需要尽可能的保证二者具有相同的环境,如网络,实... RDS for PostgreSQL 为异步复制。# 数据库参数请尽量保持自建数据库和 RDS 的参数保持一致。需要注意的是,由于 RDS 是托管服务,出于安全考虑某些参数并不支持修改,这种情况下,请修改自建数据库的参数。# 从...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 迁移至专有网络 PostgreSQL 任务。 前提条件已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 按需设置源端信息... 待迁移的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要迁移时,建议拆分为多个任务。 如需进行增量迁移,...
本文介绍如何在数据库传输服务 DTS 创建火山引擎 ECS 自建 PostgreSQL 同步至专有网络 PostgreSQL 任务。 前提条件按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 V... 待同步的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 迁移至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 源端和目... 待迁移的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要迁移时,建议拆分为多个任务。 如需进行增量迁移,...
本场景介绍如何在数据库传输服务 DTS 创建火山引擎 ECS 自建 PostgreSQL 同步至公网自建 PostgreSQL 任务。 前提条件已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 已在公网环境中自行搭建 Postgre... 待同步的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,...
本文介绍如何在数据库传输服务 DTS 控制台创建专有网络 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件按需设置源端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN ... 待同步的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,...
本文介绍如何在数据库传输服务 DTS 控制台创建专有网络 PostgreSQL 同步至公网自建 PostgreSQL 任务。 前提条件按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN ... 待同步的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号... 待同步的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,...
PostgreSQL 火山引擎 ECS 自建 PostgreSQL 公网自建 PostgreSQL 专有网络 PostgreSQL 火山引擎版 PostgreSQL 火山引擎 ECS 自建 PostgreSQL 公网自建 PostgreSQL 专有网络 PostgreSQL PostgreSQL 10 PostgreSQL 11 PostgreSQL 12 结构迁移 全量迁移 增量迁移 使用限制类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能...
本场景介绍如何在数据库传输服务 DTS 控制台创建专有网络 PostgreSQL 迁移至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 按需设置源端信息... 待迁移的表需具备主键或唯一非空约束,且字段具有唯一性,否则可能会导致数据不一致。 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要迁移时,建议拆分为多个任务。 如需进行增量迁移,...