pg数据库迁移到RDS
社区干货
使用 pgcopydb 工具迁移数据
# **场景介绍**在数据迁移场景中,如果对实时性要求不高,可以采用离线的方式来进行迁移,pg_dump 以及 pg_restore 是不错的工具,pg_dump 提供了并行复制的方式,可以极大的提高备份恢复效率。遗憾的是,要使用并行,必... pgcopydb bypasses pg_restore index building and drives that internally so that all indexes may be built concurrently.# **操作步骤**#### 导入环境变量导入环境变量,指明需要进行备份的源库和恢复的目...
PostgreSQL 迁移前的环境检查
数据库迁移是实现业务上云最重要的环节。本章节主要关注在数据库迁移前的环境摸排,对现有环境做到心里有数。也方便在后期进行数据校验。# 预检查项## 1. 时区在进行数据库迁移之前,需要提前关注数据库时区,将目标数据库的时区和主库保持一致。````undefined# 查看全局配置postgres=# show timezone; # 查看每一个数据库的单独配置postgres=# select a.setdatabase, b.datname,a.setconfig from pg_db_role_setting a...
PostgreSQL 中逻辑复制的使用场景
当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移工具 pg_dump,适用于数据量小的一次性迁移,最大的缺点就是业务停机时间长,性能较差。反观逻辑复制,可以实现实时的...
PostgreSQL 开发运维最佳实践
# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,...
特惠活动
pg数据库迁移到RDS-优选内容
pg数据库迁移到RDS-相关内容
如何排查 PostgreSQL 存储空间占用问题-2
RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1]... 在我们迁移上云时,使用 DTS 迁移工具进行逻辑复制会使用到 replication slot。我们可以执行与以下查询以确认复制槽存在及其大小:```Plain Textpostgres=# select slot_name, pg_size_pretty(pg_wal_lsn_diff(pg...
如何排查 PostgreSQL 存储空间占用问题-2
RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1]... 在我们迁移上云时,使用 DTS 迁移工具进行逻辑复制会使用到 replication slot。我们可以执行与以下查询以确认复制槽存在及其大小:````undefinedpostgres=# select slot_name, pg_size_pretty(pg_wal_lsn_diff(pg...
自建数据库与RDS性能对比注意事项
# 前言从 on-premise 数据库迁移到火山引擎(ECS 自建或是RDS),您可能希望做一次全面的性能测试,本文主要说明在测试前,我们需要提前考虑哪些先决条件。在测试之前,需要尽可能的保证二者具有相同的环境,如网络,实例规格,部署架构,数据库版本,参数配置等。# 网络环境由于公网网络环境的不可预测性,在性能测试时,不论 ECS 自建数据库还是 RDS,请均使用内网环境,即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用 与...
自建数据库与RDS性能对比注意事项
# 前言从 on-premise 数据库迁移到火山引擎(ECS 自建或是RDS),您可能希望做一次全面的性能测试,本文主要说明在测试前,我们需要提前考虑哪些先决条件。在测试之前,需要尽可能的保证二者具有相同的环境,如网络,实例规格,部署架构,数据库版本,参数配置等。# 网络环境由于公网网络环境的不可预测性,在性能测试时,不论 ECS 自建数据库还是 RDS,请均使用内网环境,即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用...
PostgreSQL unlogged table 特性解析
在数据库异常宕机时,unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### u... pgsql11.5/data/ -m fast),再启动时,unlogged table 中是有数据的。同时,unlogged table 与临时表是有区别的,临时表会在事务/session 结束时进行删除,而 unlogged table 是不会的。# unlogged table 在 RDS 上的...
PostgreSQL unlogged table 特性解析
在数据库异常宕机时,unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### ... pgsql11.5/data/ -m fast),再启动时,unlogged table 中是有数据的。同时,unlogged table 与临时表是有区别的,临时表会在事务/session 结束时进行删除,而 unlogged table 是不会的。# unlogged table 在 RDS 上...
预检查项(PostgreSQL)
数据库传输服务 DTS 创建或配置 PostgreSQL 的迁移或同步任务时,会先对数据库进行各项检查。本文介绍检查项的详细信息。 检查项 数据库类型 检查范围 级别 检查内容 备注 数据库连通性检查 源库 目标库 所有迁移... 迁移或同步如下插件: address_standardizer address_standardizer_data_us bloom btree_gin btree_gist citext cube dblink dict_int earthdistance file_fdw fuzzystrmatch hstore intagg intarray isn ltree pg_...
配置 PostgreSQL 数据源
您可以在数据库中执行以下语句,查看 PostgreSQL 数据库的版本:sql show server_version 2 使用前提子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员 确保集成同步任务使用的独享数据集成资源组,具有 PostgreSQL 数据库节点的网络访问能力。网络互通方案详见网络连通解决方案。数据源为 RDS 云数据库实例时,需要将集成资源组所在 VPC 中的 IPv4 CIDR 地址添加到 PostgreS...
创建并连接到 RDS MySQL 数据库
前言 在本教程中,您将学习如何创建RDS MySQL 数据库,并使用客户端连接,以及删除数据库。 关于实验 预计部署时间:20分钟级别:初级相关产品:RDS MySQL受众: 通用 环境说明 如果还没有火山引擎账号,点击此链接注册账号。 如果您还没有VPC,请先点击链接创建VPC。 云数据库RDS MySQL版。 云服务器ECS:Centos 7。 实验步骤 步骤1:创建RDS for MySQL进入到RDS 控制台。 点击创建实例。 接下来您可以指定 RDS for MySQL 相关配置,如...
