postgresql同步设置
社区干货
PostgreSQL中的物理复制和逻辑复制
# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中如果想要实...
如何使用逻辑流复制来迁移数据
# 前言PostgreSQL 中的逻辑流复制与消息队列中的发布者/订阅者模型非常相似,在发布者端将 WAL 日志流解析成一定格式的数据流,订阅者节点收到后进行应用,以此来达到数据同步的目的。本章内容将介绍如何使用逻辑流复制进行数据同步,可用于数据迁移等场景。# 先决条件在源库需要预先配置项如下:1. wal_level = logical2. max_replication_slots: 每个订阅需要消耗一个 slot。建议根据情况来进行设置。3. max_wal_senders,每...
PostgreSQL 参数修改最佳实践
# 前言在 PostgreSQL 中,对于参数的生效时机有如下几种类型:1. postmaster:需要重启数据库才可以生效。2. superuser-backend:该类型的参数可以由超级用户来改变,可以在 postgresql.conf 中对这些设置进行更改,... 超级用户通过 set 命令即可设置。可以通过如下命令来查看参数的生效的方式:```Plain Textpostgres=# select distinct(context) from pg_settings;```# 用户场景用户想设置参数 max_parallel_workers 和 ma...
PostgreSQL 中逻辑复制的使用场景
二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移工具 pg_dump,适用于数据量小的一次性迁移,最大的缺点就是业务停机时间长,性能较差。反观逻辑复制,可以实现实时的增量迁移,业务上停机时间更短。## 场景三:数据库升级在数据库版本升级升级过程中,除了就地升级和逻辑的导入导出,由于逻辑复...
特惠活动
postgresql同步设置-优选内容
postgresql同步设置-相关内容
同步至公网自建 PostgreSQL
本场景介绍如何在数据库传输服务 DTS 创建火山引擎版 PostgreSQL 同步至公网自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建云数据库 Po... 当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可...
同步至火山引擎专有网络 PostgreSQL
本文介绍如何在数据库传输服务 DTS 控制台创建公网自建 PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建云...
同步至火山引擎专有网络 PostgreSQL
本文介绍如何在数据库传输服务 DTS 创建火山引擎 ECS 自建 PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建...
同步至公网自建 PostgreSQL
本场景介绍如何在数据库传输服务 DTS 创建火山引擎 ECS 自建 PostgreSQL 同步至公网自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建火山... 当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可...
同步至火山引擎 ECS 自建 PostgreSQL
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要...
同步至火山引擎版 PostgreSQL
如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 其他 单个同步任务只能同步一个数据库,当有多个数据库需要同步时,您可以为每个数据库配置都配置一个同步任务。 建议源库和目标库的 PostgreSQL 版本保持一致,或者从低版本同步至高版本以...
同步至火山引擎版 PostgreSQL
如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 其他 单个同步任务只能同步一个数据库,当有多个数据库需要同步时,您可以为每个数据库配置都配置一个同步任务。 建议源库和目标库的 PostgreSQL 版本保持一致,或者从低版本同步至高版本以...
同步至火山引擎版 PostgreSQL
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已... 当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可...
同步至火山引擎 ECS 自建 PostgreSQL
如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日志至少要保留 24 小时,建议保留 7 天以上的日志,否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 其他 单个同步任务只能同步一个数据库,当有多个数据库需要同步时,您可以为每个数据库配置都配置一个同步任务。 建议源库和目标库的 PostgreSQL 版本保持一致,或者从低版本同步至高版本以...
