PostgreSQL：文本转JSONB时出现总大小超出最大值错误

你遇到的这个错误是PostgreSQL对JSONB数组的硬性限制：JSONB数组所有元素的总大小不能超过268435455字节（即256MB）。虽然你的text字段用pg_column_size()查看只有约59MB，但背后有几个关键原因导致转JSONB时触发了限制：

• text字段存储的是压缩后的JSON文本（PostgreSQL默认会对text做轻量压缩），而JSONB是解析后的二进制结构，包含额外元数据（比如键的哈希值、类型标识、长度信息等），这些额外开销会让实际占用空间远大于text的压缩大小，甚至接近原磁盘上200MB的未压缩尺寸。
• 当JSON数组包含大量元素时，每个元素的JSONB元数据累加起来，很容易突破256MB的总限制。

下面是几个可行的解决方案，按优先级排序：

1. 拆分大数组为单独记录（最推荐） #

把原来的单条大数组记录拆分成多条单元素记录，彻底避开数组总大小的限制，同时还能提升后续查询的灵活性和性能：

-- 创建新表存储拆分后的JSONB数据
CREATE TABLE your_jsonb_data (
    id SERIAL PRIMARY KEY,
    single_element JSONB NOT NULL
);

-- 从原text字段拆分数组元素并插入新表
INSERT INTO your_jsonb_data (single_element)
SELECT jsonb_array_elements(your_text_column::JSON)::JSONB
FROM your_original_table;

如果原表有其他关联字段，记得一起保留：

INSERT INTO your_jsonb_data (original_id, single_element)
SELECT ot.id, jsonb_array_elements(ot.your_text_column::JSON)::JSONB
FROM your_original_table ot;

2. 清理JSON数据的冗余内容 #

如果数组元素里有大量重复键、冗余字符串或不必要的嵌套结构，可以先清理这些内容来减少每个元素的大小，从而降低JSONB转换后的总开销：

• 移除不需要的字段
• 用枚举值替代重复的长文本描述
• 扁平化不必要的嵌套层级

3. 继续使用text字段配合JSON函数查询 #

如果你的业务场景不需要JSONB的高级特性（比如GIN索引、路径查询、原子更新），可以继续用text字段存储，通过PostgreSQL的JSON函数实现查询需求，这样就不会触发JSONB的大小限制。例如：

-- 查询数组中某个字段等于特定值的元素
SELECT json_extract_path_text(your_text_column, 'target_key')
FROM your_original_table
WHERE json_array_length(your_text_column::JSON) > 100;

4. 检查PostgreSQL版本（可选） #

某些旧版本的PostgreSQL对JSONB的内存处理可能存在优化空间，如果你使用的是10及以下版本，升级到14+版本可能会有一定改善，但这个方案不能保证解决问题，优先尝试前面的方法。

内容的提问来源于stack exchange，提问作者dknaack