# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中如果想要实...
# 前言PostgreSQL 中的逻辑流复制与消息队列中的发布者/订阅者模型非常相似,在发布者端将 WAL 日志流解析成一定格式的数据流,订阅者节点收到后进行应用,以此来达到数据同步的目的。本章内容将介绍如何使用逻辑流复制进行数据同步,可用于数据迁移等场景。# 先决条件在源库需要预先配置项如下:1. wal_level = logical2. max_replication_slots: 每个订阅需要消耗一个 slot。建议根据情况来进行设置。3. max_wal_senders,每...
当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移工具 pg_dump,适用于数据量小的一次性迁移,最大的缺点就是业务停机时间长,性能较差。反观逻辑复制,可以实现实时的...
# 前言PostgreSQL 在 9.1 中推出了一种特殊的表:unlogged table,使用 unlogged table 最大的特点是涉及到表的更新,删除等操作不会记录 WAL 日志,这样可以大大的提高性能。不过需要特别注意的是,在数据库异常宕机... 备库中只有表结构而没有数据。3. 当数据库 crash 后,如运行 kill -9 postgresql_pid,数据库重启时自动清空unlogged table的数据。4. 如果正常关闭数据库,如(pg_ctl stop -D /home/pgsql11.5/data/ -m fast),再启...
本文介绍如何在数据库传输服务 DTS 控制台创建公网自建 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在 IDC 或 ECS 中,且通过公网连接时,您需要...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。...
本文介绍如何在数据库传输服务 DTS 创建火山引擎 ECS 自建 PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 PostgreSQL 同步至火山引擎版 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建云...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 创建数据同步任务之前,请...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置源端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要...
本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 当源库、目标库部署在火山引擎的 ECS 中,且开启了访问...
本文介绍如何在数据库传输服务 DTS 控制台创建公网自建 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当源库部署在 IDC 或 ECS 中,且通过公网连接时,您需要将 DTS 的服务器 IP ...