Ruby解析大型JSON文件无内存泄漏的最优实现方案是什么？

你遇到的不是JSON解析库的内存泄漏，是CRuby默认内存管理机制的正常表现：CRuby使用的glibc malloc默认会将GC释放的内存保留在进程内部的内存池，用于后续新对象分配复用，不会主动归还给操作系统，因此你用pmap统计的进程总内存占用不会下降，但这部分内存是可复用的，不会造成实际的资源浪费。

补充说明：你代码中将a、b变量设为nil并触发GC后，相关对象的内存已经被Ruby的GC回收，只是还保留在进程内存池中没有返还给操作系统，此时如果再次执行相同的JSON解析操作，进程总内存不会再次上涨，会直接复用这部分空闲内存。

可按优先级选择以下方案降低实际内存占用：

• 优先使用流式JSON解析
  如果你的业务不需要获取完整的JSON对象，仅需要提取部分字段，直接使用流式解析接口，从根源上避免加载全量JSON对象产生的内存开销。以Oj为例，使用Oj::Parser流式读取JSON即可，不需要将整个JSON字符串或解析后的全量哈希加载到内存中。
• 调整内存分配器参数
  启动Ruby进程前设置环境变量MALLOC_ARENA_MAX=2，减少glibc malloc的分配竞技场数量，降低内存碎片化，能够让GC后更多空闲内存被归还给操作系统，实测可以降低30%以上的常驻内存占用。
• 替换内存分配器
  改用jemalloc替换默认的glibc malloc，jemalloc对大内存场景的碎片化处理更优，也更积极将空闲内存返还给操作系统。安装jemalloc后，启动脚本时添加预加载参数即可：

LD_PRELOAD=/path/to/libjemalloc.so ruby your_script.rb

• 子进程隔离处理
  如果是单次处理大JSON的场景，直接将JSON解析逻辑放到独立子进程中执行，处理完成后子进程退出，所有占用内存会被操作系统完全回收，父进程仅接收需要的处理结果即可，不需要手动杀父进程即可完全释放所有解析相关的内存。

内容的提问来源于stack exchange，提问作者Michael Pulis