30TB超大规模PostgreSQL数据库无损减容实用方法咨询

1. 原生存储压缩优化 #

所有压缩方案均为无损压缩，不会修改原始数据的精度和内容，性能损耗可控。

• 升级TOAST压缩算法：PostgreSQL 14及以上版本支持将默认TOAST压缩算法从pglz更换为zstd，可通过参数default_toast_compression = zstd全局配置，也可针对单表大字段单独调整：ALTER TABLE 表名 ALTER COLUMN 大字段名 SET STORAGE EXTENDED;。zstd相比pglz压缩率可提升30%~50%，解压性能损耗低于5%。
• 在线回收碎片化空间：长期未做空间回收的大表会存在大量死元组和碎片化空白空间，可使用pg_repack工具在线回收，无锁表影响，通常可释放10%~40%的已占用空间，执行前先完成VACUUM ANALYZE即可。
• 表空间级压缩：PostgreSQL 15及以上版本支持创建zstd压缩的表空间，可将访问频率低的冷数据批量迁移到压缩表空间，迁移过程无数据丢失，查询时自动解压缩，对业务完全透明。

2. 数据结构优化减容 #

• 字段类型瘦身：将冗余的大字段类型替换为符合取值范围的紧凑类型，比如将超出取值需求的INT8替换为INT4/INT2，字符串类型的枚举值替换为ENUM类型，固定结构的JSONB拆分为独立字段存储，以上调整均为无损操作，通常可节省20%~40%的行存储占用。
• 稀疏字段优化：3000字段场景下通常存在大量稀疏字段，对于大量行取值为NULL或相同默认值的字段，设置列级默认值，PostgreSQL不会存储每行的重复默认值/NULL值，可大幅降低稀疏字段的存储空间。
• 清理无效索引：查询pg_stat_user_indexes系统视图，筛选出长期扫描次数为0的冗余、重复索引直接删除，超宽表的索引存储通常占总存储的30%~50%，清理无效索引可直接释放这部分空间，不影响原始数据。

3. 冷热分离与高级压缩 #

• 分区表冷热分离：按照时间、区域等维度对大表做范围分区，将访问频率极低的冷分区迁移到低成本的压缩存储介质，数据完整保留，查询自动路由到对应分区，对上层业务无感知。
• 冷数据转列式存储：使用cstore_fdw或者时序扩展timescaledb的列式存储功能，将冷数据分区转为列式存储，配合zstd压缩压缩率可达1:10以上，完全无损，支持标准SQL查询，不需要修改业务代码。
• 重复值字典化：如果存在大量重复取值的字段（比如分类标签、地域信息等），可将重复值存入独立字典表，原表仅存储字典ID，可大幅降低重复数据的存储空间，可通过视图兼容原有查询逻辑，完全无损。

内容的提问来源于stack exchange，提问作者zhouhufeng