postgresql数据订阅
社区干货
如何使用逻辑流复制来迁移数据
# 前言PostgreSQL 中的逻辑流复制与消息队列中的发布者/订阅者模型非常相似,在发布者端将 WAL 日志流解析成一定格式的数据流,订阅者节点收到后进行应用,以此来达到数据同步的目的。本章内容将介绍如何使用逻辑流复制进行数据同步,可用于数据迁移等场景。# 先决条件在源库需要预先配置项如下:1. wal_level = logical2. max_replication_slots: 每个订阅需要消耗一个 slot。建议根据情况来进行设置。3. max_wal_senders,每...
PostgreSQL 中逻辑复制的冲突解决
# 前言在逻辑复制过程中,如果在复制过程中出现任何冲突,如主键冲突,逻辑复制都会停止。这时候需要我们手动去解决。# 问题分析修复冲入的方法共有两种:1. 在订阅端手动找到冲突的数据并删除,然后重新让订阅继续... [https://www.postgresql.org/docs/current/logical-replication-conflicts.html](https://www.postgresql.org/docs/current/logical-replication-conflicts.html)**如果您有其他问题,欢迎您联系火山引擎**[技术...
PostgreSQL中的物理复制和逻辑复制
# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中如果想要实...
如何监控PostgreSQL逻辑复制状态
# 前言在配置好逻辑复制之后,我们需要了解逻辑复制相关信息,如复制延迟,replication slot 相关位点信息。PostgreSQL 为我们提供了丰富的表/视图,方便我们进行监控。## 检查逻辑复制的基本配置信息在订阅端查看基... "t" 表示发布数据库中所有已存在的表和以后新建的表。* pubinsert:"t" 表示仅发布表上的INSERT操作。* pubupdate:"t" 表示仅发布表上的UPDATE操作。* pubdelete:"t" 表示仅发布表上的DELETE操作## 检查发布 &...
特惠活动
postgresql数据订阅-优选内容
postgresql数据订阅-相关内容
PostgreSQL 中逻辑复制的冲突解决
# 前言在逻辑复制过程中,如果在复制过程中出现任何冲突,如主键冲突,逻辑复制都会停止。这时候需要我们手动去解决。# 问题分析修复冲入的方法共有两种:1. 在订阅端手动找到冲突的数据并删除,然后重新让订阅继续... [https://www.postgresql.org/docs/current/logical-replication-conflicts.html](https://www.postgresql.org/docs/current/logical-replication-conflicts.html)**如果您有其他问题,欢迎您联系火山引擎**[技术...
PostgreSQL中的物理复制和逻辑复制
# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中如果想要实...
DTS 目前支持哪些数据库?
当前支持以下数据库类型: 数据迁移功能:当前支持 MySQL、veDB MySQL、Redis、PostgreSQL 和 MongoDB 数据库类型。 数据同步功能:当前支持 MySQL、Redis 数据库类型。 数据订阅功能:当前支持 MySQL 和 PostgreSQL 数据库类型。
如何监控PostgreSQL逻辑复制状态
# 前言在配置好逻辑复制之后,我们需要了解逻辑复制相关信息,如复制延迟,replication slot 相关位点信息。PostgreSQL 为我们提供了丰富的表/视图,方便我们进行监控。## 检查逻辑复制的基本配置信息在订阅端查看基... "t" 表示发布数据库中所有已存在的表和以后新建的表。* pubinsert:"t" 表示仅发布表上的INSERT操作。* pubupdate:"t" 表示仅发布表上的UPDATE操作。* pubdelete:"t" 表示仅发布表上的DELETE操作## 检查发布 &...
架构原理
后置结构迁移:为保证数据迁移的性能和迁移任务的稳定性,部分数据库迁移对象会在增量迁移结束后进行创建。需要进行后置结构迁移的对象包括:MySQL:TRIGGER、EVENT。 PostgreSQL:TRIGGER、RULE、FOREIGN KEY、SEQUENCE。 数据同步 结构初始化:读取源库表结构定义语法,重新组装成目标库的语法格式。 全量初始化:全量读取源表内容并写到对应的目标表。 增量同步:目标库增量日志解析和回放,实现数据在线同步。 数据订阅 全量订阅:全量...
PostgreSQL
1. 概述 支持接入 PostgreSQL 数据库去创建数据集。数据连接支持直连或抽取 PostgreSQL 数据源。(直连需要产品版本V2.58.0及以上)在连接数据之前,请收集以下信息: 数据库所在服务器的 IP 地址和端口号; 数据库的名称; 驱动信息(一般默认为 org.postgresql.Driver,无需修改); 数据库的用户名和密码。 2. 快速入门 下面介绍两种方式创建数据连接。 2.1 从数据连接新建(1)进入火山引擎,点击进入到某个具体项目下,点击数据准备,在...
PostgreSQL unlogged table 特性解析
# 前言PostgreSQL 在 9.1 中推出了一种特殊的表:unlogged table,使用 unlogged table 最大的特点是涉及到表的更新,删除等操作不会记录 WAL 日志,这样可以大大的提高性能。不过需要特别注意的是,在数据库异常宕机时... 备库中只有表结构而没有数据。3. 当数据库 crash 后,如运行 kill -9 postgresql_pid,数据库重启时自动清空unlogged table的数据。4. 如果正常关闭数据库,如(pg_ctl stop -D /home/pgsql11.5/data/ -m fast),再启...
PostgreSQL unlogged table 特性解析
# 前言PostgreSQL 在 9.1 中推出了一种特殊的表:unlogged table,使用 unlogged table 最大的特点是涉及到表的更新,删除等操作不会记录 WAL 日志,这样可以大大的提高性能。不过需要特别注意的是,在数据库异常宕机... 备库中只有表结构而没有数据。3. 当数据库 crash 后,如运行 kill -9 postgresql_pid,数据库重启时自动清空unlogged table的数据。4. 如果正常关闭数据库,如(pg_ctl stop -D /home/pgsql11.5/data/ -m fast),再启...
跨火山引擎账号实现数据传输
优化费用:通过优化数据传输方式,可以降低数据存储和传输成本,节省开支。 支持的数据库类型支持配置跨火山引擎账号传输数据的数据库如下所示: 说明 跨账号传输数据时,对目标库实例的接入方式没有限制。 数据传输类型 实例类型 源端实例的接入方式 数据迁移 MySQL 火山引擎版 MySQL 火山引擎版 veDB MySQL Redis 火山引擎版 Redis MongoDB 火山引擎版 MongoDB PostgreSQL 火山引擎版 PostgreSQL 数据订阅 MySQL 火山引擎版...
