# 前言在 PostgreSQL 中,有如下场景我们需要进行重建索引1. 索引膨胀。2. 当修改了某些参数,为了使之完全生效,需要进行 reindex 操作,如 fillfactor。3. 索引损坏。4. 在线创建索引失败,索引状态为 "invaild"。在 PostgreSQL 12 之前不支持在线重建索引的操作,通常我们的做法是创建一个新的索引,然后删除旧的索引。在 PostgreSQL 12 支持了 在线重建索引的操作,只需要一条命令,简化了运维操作。# 补丁说明参考文档[1]...
# 问题描述数据库创建索引可能会锁住创建索引的表,这样阻塞业务在生产中一般是不被允许的,那么 PostgreSQL 如何解决这个问题哪?# 问题分析PostgreSQL 在 CREATE INDEX 命令中新增CONCURRENTLY 选项来实现索引的并发创建# 验证方法1. 创建测试表并插 3000000 条 数据```sqlpostgres=# CREATE TABLE demo(id int);CREATE TABLEpostgres=# INSERT INTO demo SELECT generate_series(1,3000000);INSERT 0 3000000```...
我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。由于篇幅限制,本章内容仅包含数据文件部分,其他方面请查看后续文章[1]。# 解决方案### 显示数据库的大小````undefinedpostgres=# select pg_database.datname, pg_size_pretty (pg_database_s...
我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。由于篇幅限制,本章内容仅包含数据文件部分,其他方面请查看后续文章[1]。# 解决方案### 显示数据库的大小```Plain Textpostgres=# select pg_database.datname, pg_size_pretty (pg_database_s...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 PostgreSQL 同步至火山引擎专有网络 PostgreSQL 任务。 前提条件已注册火山引擎账号并完成实名认证。详细操作,请参见如何进行账号注册和实名认证。 ... 您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 已确认源端和目标端的网络连通性与服务可用性。 注意事项为实时保障数据的一致性,建议选择结构初始化、全量初始化和增量同步。 当前仅支持单向同步,不...
SEQUENCE 等会在增量同步结束后才进行同步。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 在数据同步的过程中,若遇到目... 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的参数要求: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日...
SEQUENCE 等会在增量同步结束后才进行同步。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 在数据同步的过程中,若遇到目... 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的参数要求: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日...
在源端部署在火山引擎的 ECS 中通过私网连接,且开启了访问限制时,您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 当目标端部署在 IDC 或 ECS 中,且通过公网连接时,您需要将 DTS 的服务器 IP 地址添加到自建库的白名单中。 已确认源端和目标端的网络连通性与服务可用性。 注意事项为实时保障数据的一致性,建议选择结构初始化、全量初始化和增量同步。 当前仅...
Postgres CDC 连接器用于从 PostgreSQL 数据库读取全量快照数据和增量数据,仅支持做数据源表。 使用限制Postgres CDC 连接器暂时仅支持在 Flink 1.16-volcano 引擎版本中使用。 Postgres CDC 仅支持作为数据源表,支... 建议您在 Flink 参数中配置 Checkpoint 时间间隔,以及配置 Task 重启策略,以避免在全量同步阶段由于 Checkpoint 超时导致任务 Failover。 DDL 定义SQL CREATE TABLE pgsql_source ( order_id bigint, order_cus...
在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全... 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日...
PostgreSQL 进行重启或者主备切换,将会导致同步任务失败。在同步时如果源库执行了重启操作,同步任务会暂时中断并自动尝试修复。如果任务长时间没恢复,请提交工单联系技术支持。 为实时保障数据的一致性,建议选择结... 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日...
根据预检查项中的说明,检查源端和目标端中各迁移对象。更多详情,请参见预检查项(PostgreSQL)。 注意事项当源端为自建 PostgreSQL 时,您需要关注以下信息: 迁移时,如果源端进行主备切换,会导致迁移任务失败。 在迁移时如果源端执行了重启操作,迁移任务会暂时中断并自动尝试修复。如果任务长时间没恢复,请提交工单联系技术支持。 为实时保障数据的一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。 迁移对象选择的粒度为...
您可以在合适的时候再配置同步任务。配置方法,请参见配置同步任务。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全... 单任务中表的数量建议不超过 2 万,库的数量不超过 50 个。当有大量库表需要同步时,建议拆分为多个任务。 如需进行增量同步,WAL 日志的要求如下: 需开启 WAL 日志功能,并设置参数 wal_level 为 logical。 WAL 日...