# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,...
# 问题背景线上 RDS for PostgreSQL 实例发现短时间内,从指标中查看到有如下信息:* 可用存储空间迅速降低* 此时实例并没有大量的 DML,而 WAL 日志却增长异常* CPU,内存,磁盘 IO / 带宽等指标均有突增# 问题... 表的年龄。监控的目的在于提前发现,使用户可以选择合适的时间来手动执行 vacuum freeze,避免集中达到 aggressive vacuum 阈值引发 freeze 风暴。2. 避免大表,对于大表应使用分区表,并对大表设置不同的 vacuum 年龄...
unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### unlogged table 特性1. 对 unlogged table 的操作是不记录 WAL 日志的,因此写入速度相较于普通表要快。2. 如果有 hot standby,备库中只有表结构而没有数据。3. 当数据库 crash 后,如运行 kill -9 postgresql_pid,数据库重启时自动清空...
unlogged tables 中的数据可能会丢失。### unlogged table 使用场景1. 可以接受数据丢失的风险,数据可以从其他源进行导入。2. unlogged table 通常用于中间结果,频繁变更的会话数据### unlogged table 特性1. 对 unlogged table 的操作是不记录 WAL 日志的,因此写入速度相较于普通表要快。2. 如果有 hot standby,备库中只有表结构而没有数据。3. 当数据库 crash 后,如运行 kill -9 postgresql_pid,数据库重启时自动清...
创建实例是开启使用云数据库 PostgreSQL 版的第一步。本文介绍如何创建 PostgreSQL 实例。 前提条件已注册火山引擎账号,并完成实名认证。账号注册和实名认证的方法,请参见如何进行账号注册和实名认证。 操作步骤登录云数据库 PostgreSQL 版控制台。 (可选)在顶部菜单栏的左上角,选择实例所属项目。 说明 如创建实例前未选择所属项目,可在创建实例过程中选择。 在顶部菜单栏的左上角,选择实例所属的地域。 在实例列表页面,单击...
创建实例是开启使用云数据库 PostgreSQL 版的第一步。本文介绍如何创建 PostgreSQL 实例。 前提条件已注册火山引擎账号,并完成实名认证。账号注册和实名认证的方法,请参见如何进行账号注册和实名认证。 操作步骤登录云数据库 PostgreSQL 版控制台。 (可选)在顶部菜单栏的左上角,选择实例所属项目。 说明 如创建实例前未选择所属项目,可在创建实例过程中选择。 在顶部菜单栏的左上角,选择实例所属的地域。 在实例列表页面,单击...
本文列出了云数据库 PostgreSQL 版的各版本所支持的插件及插件版本。 插件名 PostgreSQL 13 PostgreSQL 12 PostgreSQL 11 描述 address_standardizer 3.2.5 3.1.4 3.1.4 基于 PAGC 标准的地名标准化插件。 address... pg_cron 1.5 1.5 1.5 基于 cron 的 PostgreSQL 任务调度器扩展插件,可以直接从数据库执行 PostgreSQL 命令。 pg_freespacemap 1.2 1.2 1.2 检查空闲空间映射(FSM)。 pg_pathman 1.5 1.5 1.5 高性能分区表插件。 p...
本场景介绍如何通过数据库传输服务 DTS 创建火山引擎版 PostgreSQL 数据订阅任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已创建火山引擎... 请勿修改分区 Partition 的数量。 仅支持 SASL 认证且认证机制为 PLAIN,此处应指定为 PLAIN 机制的用户名。关于如何创建 PLAIN 机制的 SASL 用户,请参见创建 SASL 用户。 在消息订阅到 RocketMQ 时,具有以下限制...
本场景介绍如何通过数据库传输服务 DTS 创建公网自建 PostgreSQL 数据订阅任务。 前提条件已注册火山引擎账号并完成实名认证。关于账号的创建方法和实名认证,请参见如何进行账号注册和实名认证。 已自主搭建 Post... 请勿修改分区 Partition 的数量。 仅支持 SASL 认证且认证机制为 PLAIN,此处应指定为 PLAIN 机制的用户名。关于如何创建 PLAIN 机制的 SASL 用户,请参见创建 SASL 用户。 在消息订阅到 RocketMQ 时,具有以下限制...
## 笔者介绍笔者介绍,近几年的工作内容都与数据库和大数据相关,公司的市场定位 为客户提供数据智能一体化的解决方案,笔者的工作主要围绕公司的旗舰产品做一些售前、售中、售后的事情 ,主要是DBA和技术支持。工作内容为以下三块。我- 对接客户与销售,主要是围绕项目和业务的详细需求,提供技术支持并制定相关的解决方案,- 对接市场部与生态部,主要是围绕公司的旗舰产品做金融信创的适配、上下游产品的适配、生态产品的适配,并...
数据集成任务新增 PostgreSQL 数据源,支持从 LAS to PostgreSQL 的集成同步。 - 新增 MongoDB 数据源,支持 Mongo to EMR hive 通道作业。 - 扩充 PG 数据同步能力,支持 PostgreSQL to EMR hiv... 表存储格式等物理数据检查和表状态、产品线、业务域等标签元数据检查。通过 HSQL DDL 建表或数据地图中导航式/DDL 建表时,均可实现表名规范的自动化检查。- **自动校验:** 数据研发工作流任务,通过 HSQL 类型...
数据格式也支持最常见的 Parquet、ORC、TEXT等。**基于这些能力,我们在性能上也做了持续的优化。**例如,我们做了 table scan 里面最常见的几类优化,包括并发读取、RunTimeFilter、列裁剪、分区裁剪、Parquet... PostgreSQL天然支持这种多流 Upsert,所以如果在 Flink 里面改写为 join 方式会非常困难。而 Doris 支持多流 Upsert 后,用法就跟 PostgreSQL 的用法完全一致,效果也会好很多。在性能方面,如果数据量不太大的时...
数据由本系统产生,数据量不是很大,但是数据增删改较多; **2、** 另一种是统计分析类型,数据不由本系统产生,来自医院各生产系统,数据集规模极其庞大,并且数据查询较多。## 思考数据每天在源源不断产生,音视... 数据存储横向水平扩展,存储服务增加/删除,但若所有节点参与运算,水平扩展到一定程度硬件必然很难hold,很容易出现短板,并且容量也有明显天花板,可结合批处理与MPP架构; **4、** 大数据给传统的关系型数据库-D...