# 前言PostgreSQL 在 9.1 中推出了一种特殊的表:unlogged table,使用 unlogged table 最大的特点是涉及到表的更新,删除等操作不会记录 WAL 日志,这样可以大大的提高性能。不过需要特别注意的是,在数据库异常宕机时,unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### unlogged table 特性...
# 前言PostgreSQL 在 9.1 中推出了一种特殊的表:unlogged table,使用 unlogged table 最大的特点是涉及到表的更新,删除等操作不会记录 WAL 日志,这样可以大大的提高性能。不过需要特别注意的是,在数据库异常宕机时,unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### unlogged table 特性...
# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,...
当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移工具 pg_dump,适用于数据量小的一次性迁移,最大的缺点就是业务停机时间长,性能较差。反观逻辑复制,可以实现实时的...
# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,...
来演示将云数据库 PostgreSQL 版作为向量数据库的使用方法。 核心概念及原理核心概念:嵌入向量(Embedding Vectors)向量 Embedding 是在自然语言处理和机器学习中广泛使用的概念。各种文本、图片或其他信号,均可通过一些算法转换为向量化的 Embedding。在向量空间中,相似的词语或信号距离更近,可以用这种性质来表示词语或信号之间的关系和相似性。例如,通过一定的向量化模型算法,将如下三句话,转换成二维向量(x,y),我们可通过坐标...
PostgreSQL 火山引擎 ECS 自建 PostgreSQL 公网自建 PostgreSQL 专有网络 PostgreSQL 火山引擎版 PostgreSQL 火山引擎 ECS 自建 PostgreSQL 公网自建 PostgreSQL 专有网络 PostgreSQL PostgreSQL 10 PostgreSQL 11 PostgreSQL 12 结构迁移 全量迁移 增量迁移 使用限制类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能...
保存后会跳转回同步任务列表页,此时任务状态为待启动,您可以在合适的时候再配置同步任务。配置方法,请参见配置同步任务。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全量数据初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据同步的性能和...
可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 在数据同步的过程中,若遇到目标库中已存在同主键或唯一键的情况,DTS 不会保留目标端中冲突的数据,即源端的数据将会覆盖掉目标端的数据。当数据进行冲突覆盖时,如果目标库中存在同名表,可能会导致数据不一致或任务失败等问题,具体如下所示。建议您通过表名映射的方式、删除或重命名目标库中同名表的方式避免数据不一致等问题降低业务风险...
默认会同步全量数据。 切分建 根据配置的字段进行数据分片,建议使用主键或有索引的列作为切分键: 如果表没有主键或者索引列,可以不配置该字段,同步任务不会进行分片,并以单并发的方式同步所有的数据; 建议使用主键或有索引的列作为切分键,切分键配置没有索引的列同步任务会比较慢; 说明 目前仅支持类型为整型或字符串的字段作为切分建。 4.3.2 PostgreSQL 批式写 数据来源选择 PostgreSQL,并完成以下相关参数配置:其中参数...
创建数据库和账号。 创建数据迁移任务之前,请确认源库和目标库的网络连通性与服务可用性。 您还可以根据预检查项中的说明,来检查源库和目标库中各迁移对象做相应准备。更多详情,请参见预检查项(PostgreSQL)。 注意事项当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 为实时保障数据的一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。 迁移对象选择的粒度为库或表。若迁移对象选...
当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移工具 pg_dump,适用于数据量小的一次性迁移,最大的缺点就是业务停机时间长,性能较差。反观逻辑复制,可以实现实时的...
如果自建 PostgreSQL 进行重启或者主备切换,将会导致同步任务失败。在同步时如果源库执行了重启操作,同步任务会暂时中断并自动尝试修复。如果任务长时间没恢复,请提交工单联系技术支持。 目前仅支持迁移主库的数据,暂不支持从库数据的同步。 为实时保障数据的一致性,建议选择结构初始化、全量初始化和增量同步。 当前仅支持单向同步,不支持双向同步。 同步对象选择的粒度为库或表。若同步对象选择的是表,则其他对象例如视图、...