使用pg-promise实现大文件流式上传PostgreSQL的方案咨询

结论 #

完全可以通过pg-promise实现全程不加载完整文件到内存的大文件入库需求，你提到的两种思路都能落地。

pg-promise的原生支持能力 #

pg-promise原生对接PostgreSQL大对象（Large Object）接口，兼容Node.js标准流生态，所有数据均以分块形式传输，内存占用仅和你配置的单块传输大小有关（通常默认仅几十KB到几MB），完全适配你低内存VPS、多用户并发上传的场景。

两种思路的实现说明 #

思路1：用户上传直接流式写入数据库

• 不需要临时占用本地磁盘空间，省IO也省存储成本，更适合资源有限的部署环境
• 直接把用户上传的HTTP请求流pipe到pg-promise提供的大对象写入流即可，上传过程中每收到一块数据就写一块到数据库，全程不会缓存完整文件到内存
• 注意要把大对象操作包裹在数据库事务中，避免上传中断产生无效的垃圾数据，同时配置合理的请求超时时间避免连接挂死

思路2：先存本地磁盘再流式导入数据库

• 上传和入库逻辑解耦，稳定性更高，哪怕数据库临时不可用也不会导致上传直接失败，适合需要做异步归档的场景
• 用multer的diskStorage模式流式写入本地磁盘本身就不会占用过多内存，后续导入时通过fs.createReadStream读取本地文件流，再pipe到pg-promise的大对象写入接口即可，全程也是分块读取分块写入，不会加载完整文件到内存
• 注意要给本地临时存储目录设置容量上限，同时配置过期文件自动清理逻辑，避免磁盘空间被占满

实操注意事项 #

• 不要用PostgreSQL的BYTEA类型存1GB级大文件，BYTEA不支持流式写入，单条写入时会加载完整内容到内存，大文件存储请统一用PostgreSQL的Large Object扩展
• pg-promise已经内置了pg-large-object的封装，直接调用其暴露的lo接口即可操作大对象，不需要额外安装依赖
• 多用户并发上传时每个流互相独立，只要控制好同时并发的上传数量，2G内存的VPS支持几十并发上传也不会出现内存超限问题

内容的提问来源于stack exchange，提问作者user2741831