PostgreSQL 提供了逻辑流复制功能,至此,PostgreSQL 拥有了更加完备的数据同步方式,解决了物理流复制无法覆盖的一些场景。本章内容将介绍物理复制与逻辑复制的一些差别。## 参数配置差异我们知道在 PostgreSQL 中... 物理复制不支持跨大版本进行部署,而逻辑复制则没有此限制。# 参考文档[1] [https://www.postgresql.org/docs/12/runtime-config-wal.html](https://www.postgresql.org/docs/12/runtime-config-wal.html)[2] [h...
本章内容主要聚焦于逻辑复制的使用场景,当了解了适用场景后,会使得业务架构更加灵活。## 场景一:数据汇总与拆分当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移...
# 前言在配置好逻辑复制之后,我们需要了解逻辑复制相关信息,如复制延迟,replication slot 相关位点信息。PostgreSQL 为我们提供了丰富的表/视图,方便我们进行监控。## 检查逻辑复制的基本配置信息在订阅端查看基... [ RECORD 2 ]----------srsubid | 20429srrelid | 20398srsubstate | rsrsublsn | 4/81589400````* srsubstate:i = 初始化, d = 正在复制数据, s = 已同步, r = 准备好 (普通复制)* srsublsn:s ...
# 前言PostgreSQL 中的逻辑流复制与消息队列中的发布者/订阅者模型非常相似,在发布者端将 WAL 日志流解析成一定格式的数据流,订阅者节点收到后进行应用,以此来达到数据同步的目的。本章内容将介绍如何使用逻辑流复制进行数据同步,可用于数据迁移等场景。# 先决条件在源库需要预先配置项如下:1. wal_level = logical2. max_replication_slots: 每个订阅需要消耗一个 slot。建议根据情况来进行设置。3. max_wal_senders,每...
建议单任务表数量不超过 2 万,库数量不超过 50。如果有大批量表需要迁移,建议拆分成多个任务。 如需进行增量迁移: 需开启 WAL 日志,即设置 wal_level 参数的值为 logical。 建议在全量迁移期间,WAL 日志至少保留 7 天以上。或者等到全量迁移完成后,再清理 DTS 任务运行后源库产生的数据日志。 用于数据迁移的账号需具备以下权限: 源库账号需要具有 superuser 权限,以便于创建逻辑复制槽。 目标库账号需要具有创建 schema ...
数据库传输服务 DTS 创建或配置 PostgreSQL 的迁移或同步任务时,会先对数据库进行各项检查。本文介绍检查项的详细信息。 检查项 数据库类型 检查范围 级别 检查内容 备注 数据库连通性检查 源库 目标库 所有迁移... pgsql plr postgis postgis_raster postgis_sfcgal postgis_tiger_geocoder postgis_topology postgres_fdw set_user sslinfo tablefunc tsm_system_rows tsm_system_time unaccent uuid-ossp xml2 源库 WAL 级别...
# 问题描述我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot... 复制延迟高等影响因素。### replication slot如果存在 replication slot 但是没有目标端进行消费,占用的空间不会被回收。通常来说,在我们迁移上云时,使用 DTS 迁移工具进行逻辑复制会使用到 replication slot。...
# 问题描述我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot... 复制延迟高等影响因素。### replication slot如果存在 replication slot 但是没有目标端进行消费,占用的空间不会被回收。通常来说,在我们迁移上云时,使用 DTS 迁移工具进行逻辑复制会使用到 replication slot。...
从而快速建立能够理解特定语境和逻辑的问答系统。该方法的实现成本相对较低。 接下来,本文针对 Prompt Engineering 方法,来演示将云数据库 PostgreSQL 版作为向量数据库的使用方法。 核心概念及原理核心概念:嵌入... 问答脚本 queryGPT.py 见 2.2 提问及回答章节示例代码,建议组织项目目录如下所示: xml .├── package.json // ts依赖包├── docs│ ├── PostgreSQL15.mdx ...
PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置源端、目标端信息,具体如下所示: 在使用 VPN 实现数据同... 以便于创建逻辑复制槽。 目标库账号需要具有创建 schema 权限,如果目标库 schema 权限已存在,则同步账号需要是目标 schema owner。 支持的 SQL 语句操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREAT...
PostgreSQL是一个功能非常强大、开源的对象关系型数据库管理系统,本文介绍如何在Linux实例上搭建并使用PostgreSQL。 PostgreSQL可靠性高,支持NoSQL数据类型(JSON/XML/hstore)、GIS地理信息处理,适用于位置应用系统... 初始化PostgreSQL。/usr/pgsql-11/bin/postgresql-11-setup initdb 执行以下命令,启动PostgreSQL服务。systemctl start postgresql-11 执行以下命令,设置PostgreSQL服务开机自启动。systemctl enable postgresql...
PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,... 以便于创建逻辑复制槽。 目标库账号需要具有创建 schema 权限,如果目标库 schema 权限已存在,则同步账号需要是目标 schema owner。 支持的 SQL 语句操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREAT...
已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火... 以便于创建逻辑复制槽。 目标库账号需要具有创建 schema 权限,如果目标库 schema 权限已存在,则同步账号需要是目标 schema owner。 支持的 SQL 语句操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREAT...