Windows 10下PostgreSQL 13.2如何分块导入9GB大JSON文件至jsonb表

前置问题排查 #

• 你导入失败的根因根本不是Windows的命令不对，是psql的\set命令会把读取到的全部内容硬塞到客户端内存变量里，9G的文件哪怕有16G物理内存，扣掉系统、其他常驻软件的占用后，剩下的空间根本装不下整个文件，自然报内存耗尽。这命令本来就是设计来读几KB的小配置文件的，拿它导GB级大文件从一开始就走歪了。
• 你现在的文件也不是严格的合法JSON：都是Python生成的字典，键和字符串值全用单引号包裹，PostgreSQL的jsonb字段只认双引号的标准格式，就算解决了内存问题，直接导也会被格式校验拦下来。
• Windows上和Linux cat等效的原生命令确实是type，但就算换100种读文件的命令，只要还是把整个文件一次性读进内存，结果都是一样的爆内存。

可落地的低内存方案 #

1. 最省事的：流式预处理+COPY导入（全程内存占比不到100MB） #

这是PostgreSQL官方推荐的大文件导入方式，性能比逐行insert高一个量级，而且根本不需要把文件加载到内存里：

• 第一步做流式格式修正：用PowerShell自带的文件流接口逐字节读原文件，只在内存里留几MB的缓冲区：
  • 读的时候跟踪前后大括号的配对数量，只要配对数回到0，就说明拿到了一个完整的订单字典
  • 把这段内容里的单引号全换成双引号，顺带把Python特有的True/False/None换成JSON兼容的true/false/null
  • 每个处理好的完整字典单独写一行到新的临时文件，最后得到的就是JSON Lines格式的文件（每行一个独立合法JSON）
• 第二步直接用psql的\copy命令导：

  \copy orders(orders) FROM 'C:\test\processed_orders.jsonl' WITH (FORMAT text)
  

  这个命令是逐行把文件内容传给数据库，不会把整个文件读进客户端内存，9G的文件跑起来也很稳。

2. 自主可控的分块导入逻辑实现 #

如果要自己控制分块大小逐块导入，Windows下用PowerShell就能实现：

• 自行设定块大小（比如100MB，根据内存余量调整），每次从文件流里只读对应大小的字节
• 块读出来之后不要硬切，找到块最后面的那个完整字典的结束位置，把不完整的尾巴留到下一块和新读的内容拼接，保证每块都是全完整的字典，不会切坏JSON格式
• 把块里的内容做格式修正，拼成可以批量插入的JSON数组，执行一次insert把这一块写进orders表
• 写完就把这块内容的内存释放掉，再读下一块，循环直到整个文件处理完成
  按100MB的块计算，9G的文件也就90次导入循环，全程内存稳稳卡在100MB左右，根本不会触发内存不足问题。

3. Python导入的内存优化思路 #

之前用Python导的时候爆内存，基本都是踩了通用坑：要么直接json.load()把整个文件读成字典对象，要么read()把整个文件当字符串加载。只要换成流式读的逻辑：开个文件生成器逐块读内容，跟踪大括号配对识别完整字典，攒够一定数量就批量insert到数据库，处理完就把块内容丢弃，Python的内存占用也会压到几十MB，完全可以正常跑完9G文件的处理流程。

所有大文件处理的核心原则：别一次性把全量内容读到内存里，不管用什么语言什么命令，只要破了这个原则，多大的内存都不够用。

内容的提问来源于stack exchange，提问作者RoxDan