PostgreSQL存储700MB压缩包遇内存分配错误，求助解决方案

核心问题分析 #

你遇到的内存错误本质是直接将大文件一次性加载到内存，不管是Python端还是PostgreSQL端，都无法处理这么大的单次内存分配。即使拆分文件，300MB的单次写入依然触发了PostgreSQL的内存限制（work_mem=1GB的配置反而可能放大问题，因为单个操作的内存配额过高，易导致系统内存耗尽）。

可行解决方案 #

1. 使用PostgreSQL大对象（Large Objects）存储 #

PostgreSQL的大对象系统支持流式分块读写大文件，不会一次性把整个文件加载到内存，是存储GB级文件的标准方式。

Python（psycopg2）实现示例：

import psycopg2
from psycopg2 import extensions, lo

# 连接数据库
conn = psycopg2.connect("dbname=your_db user=your_user")
conn.set_isolation_level(extensions.ISOLATION_LEVEL_AUTOCOMMIT)
cur = conn.cursor()

# 创建大对象并分块写入
lo_obj = lo.LO(conn)
lo_obj.open(mode=lo.LO_WRONLY)

# 分块读取压缩包文件，每次读4MB
chunk_size = 4 * 1024 * 1024
with open("your_compress_file.zip", "rb") as f:
    while chunk := f.read(chunk_size):
        lo_obj.write(chunk)
lo_obj.close()

# 将大对象的OID存入表中（需新增lo_oid字段存储OID）
cur.execute("INSERT INTO table1 (filename, exp_id, lo_oid) VALUES (%s, %s, %s)",
            ("your_compress_file.zip", 123, lo_obj.oid))
conn.commit()

# 关闭连接
cur.close()
conn.close()

2. 用COPY命令流式导入（兼容bytea字段） #

如果必须用bytea字段存储，不要一次性读取整个文件，通过COPY FROM命令流式导入，避免内存过载：

import psycopg2
from psycopg2 import sql

conn = psycopg2.connect("dbname=your_db user=your_user")
cur = conn.cursor()

# 使用COPY命令流式导入二进制数据
with open("your_compress_file.zip", "rb") as f:
    cur.copy_expert(
        sql.SQL("COPY table1 (filename, exp_id, file_data) FROM STDIN WITH BINARY"),
        f
    )
conn.commit()

cur.close()
conn.close()

注：需确保表中存在file_data字段，类型为bytea。

3. 优化PostgreSQL配置 #

当前work_mem=1GB的配置不合理，work_mem是给每个查询操作（如排序、哈希）分配的内存，4个连接最多可能占用4GB，加上shared_buffers=4GB，极易耗尽系统内存。建议调整：

work_mem = 64MB  # 或128MB，根据系统总内存灵活调整
maintenance_work_mem = 1GB  # 将内存配额倾向于维护操作而非普通查询

修改后重启PostgreSQL生效。

4. 确认字段类型正确性 #

确保存储文件的字段类型为bytea（适合中等大小二进制数据）或通过OID关联大对象（适合GB级数据）。如果之前用text类型存储二进制文件，必须改成bytea，否则会引发内存问题且无法高效存储二进制内容。

内容的提问来源于stack exchange，提问作者Da1jm