分析型的postgresql
社区干货
postgresql镜像
## 简介[PostgreSQL](https://www.postgresql.org/) 是一款高级的企业级开源关系数据库,支持 SQL(关系型)和 JSON(非关系型)查询。它是一个高度稳定的数据库管理系统,依托 20 多年的社区发展,造就了其高水平的故障恢复能力、完整性和正确性。PostgreSQL 可用作很多 Web、移动、地理空间和分析应用程序的主要数据存储或数据仓库。下载地址:- 火山引擎访问地址:https://mirrors.ivolces.com/postgresql/- 公网访问地址:h...
PostgreSQL unlogged table 特性解析
如运行 kill -9 postgresql_pid,数据库重启时自动清空unlogged table的数据。4. 如果正常关闭数据库,如(pg_ctl stop -D /home/pgsql11.5/data/ -m fast),再启动时,unlogged table 中是有数据的。同时,unlogged table 与临时表是有区别的,临时表会在事务/session 结束时进行删除,而 unlogged table 是不会的。# unlogged table 在 RDS 上的行为分析创建表:```rudonx=# CREATE UNLOGGED TABLE test0329(id int);CREATE...
PostgreSQL unlogged table 特性解析
如运行 kill -9 postgresql_pid,数据库重启时自动清空unlogged table的数据。4. 如果正常关闭数据库,如(pg_ctl stop -D /home/pgsql11.5/data/ -m fast),再启动时,unlogged table 中是有数据的。同时,unlogged table 与临时表是有区别的,临时表会在事务/session 结束时进行删除,而 unlogged table 是不会的。# unlogged table 在 RDS 上的行为分析创建表:````undefinedrudonx=# CREATE UNLOGGED TABLE test0329(id int);...
PostgreSQL 中逻辑复制的使用场景
本章内容主要聚焦于逻辑复制的使用场景,当了解了适用场景后,会使得业务架构更加灵活。## 场景一:数据汇总与拆分当多个独立的业务库需要将数据汇总到数据仓库,以便于进行后续分析的场景,逻辑复制是非常适合的。一是不需要额外的组件来支撑,二是可以做到实时同步。对于数据拆分的场景,由于逻辑复制的粒度可以到表级别,可以将一个数据库按照表的粒度拆分到不同的数据库实例中。## 场景二:数据库迁移PostgreSQL 提供了原生的迁移...
特惠活动
分析型的postgresql-优选内容
分析型的postgresql-相关内容
排查由于aggresive vacuum引起WAL日志增长的问题
# 问题背景线上 RDS for PostgreSQL 实例发现短时间内,从指标中查看到有如下信息:* 可用存储空间迅速降低* 此时实例并没有大量的 DML,而 WAL 日志却增长异常* CPU,内存,磁盘 IO / 带宽等指标均有突增# 问题分析查看 PostgreSQL 错误日志,查看到有如下信息:```Plain Textautomatic aggressive vacuum to prevent wraparound of table```可以看到这段时间内发生了 aggressive vacuum## 什么是 vacuum在 PostgreSQL ...
观测诊断
云数据库 PostgreSQL 版已对接数据库工作台(DBW),在 DBW 提供了慢日志分析和审计日志功能。 说明 审计日志为数据库工作台(DBW)的功能,该功能当前处于邀测期。 功能介绍慢日志分析功能支持查看实例慢查询的发展趋势、统计和明细,并可以进一步分析慢日志的信息,帮助您快速定位问题。审计日志功能会记录所有操作记录,便于您回溯、查询和分析历史操作,帮助您时刻掌握产品安全和性能情况,提高数据库的安全性。 使用功能登录 DBW 控制...
如何排查 PostgreSQL 存储空间占用问题-1
PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。由于篇幅限制,本章内容仅包含数据文件部分,其他方面请查看后续文章[1]。# 解决方案### 显示数据库的大小````undefinedpostgres=# select pg_database.da...
如何排查 PostgreSQL 存储空间占用问题-1
PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。由于篇幅限制,本章内容仅包含数据文件部分,其他方面请查看后续文章[1]。# 解决方案### 显示数据库的大小```Plain Textpostgres=# select pg_database.da...
PostgreSQL 中逻辑复制的冲突解决
# 前言在逻辑复制过程中,如果在复制过程中出现任何冲突,如主键冲突,逻辑复制都会停止。这时候需要我们手动去解决。# 问题分析修复冲入的方法共有两种:1. 在订阅端手动找到冲突的数据并删除,然后重新让订阅继续... [https://www.postgresql.org/docs/current/logical-replication-conflicts.html](https://www.postgresql.org/docs/current/logical-replication-conflicts.html)**如果您有其他问题,欢迎您联系火山引擎**[技术...
PostgreSQL中的物理复制和逻辑复制
# 前言PostgreSQL 在 9.0 之前并未支持流式复制,备库总是落后主库一个 WAL log,在 9.0 之后 PostgreSQL 提供了流式复制,备库不断从主库同步相应的数据,并应用每个 WAL record。在 PostgreSQL 9.4 开始,PostgreSQ... 订阅端仅仅需要应用订阅表所产生的 WAL 日志解析后的数据即可。同时逻辑复制可以非常灵活的订阅不同的操作类型,如 insert,update,delete。## 全量和部分差异基于上一点我们得知,在逻辑复制中仅仅需要复制已经订阅...
PostgreSQL 参数修改最佳实践
# 前言在 PostgreSQL 中,对于参数的生效时机有如下几种类型:1. postmaster:需要重启数据库才可以生效。2. superuser-backend:该类型的参数可以由超级用户来改变,可以在 postgresql.conf 中对这些设置进行更改,... postgres=# select distinct(context) from pg_settings;```# 用户场景用户想设置参数 max_parallel_workers 和 max_parallel_workers_per_gather 来改善特定分析场景下,特定应用程序的查询效率,但是不想全局生...
如何排查 PostgreSQL 存储空间占用问题-2
# 问题描述我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1],我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,P...
如何排查 PostgreSQL 存储空间占用问题-2
# 问题描述我的 RDS for PostgreSQL 占用的存储空间不符合预期,我该如何排查此类问题?# 问题分析RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1],我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,P...
