读取含大量对象的二进制文件内存溢出，求逐对象低内存读取方案

这个问题我太有体会了！核心症结在于你大概率是把所有对象一次性加载到内存中了，而没有像处理纯文本那样读一个、处理一个、释放一个。咱们来一步步解决：

先排查你代码的常见问题 #

你提到用了ObjectInputStream，如果你的代码是类似下面这种写法，内存占用高就完全说得通：

// 错误示例：把所有对象存到集合里，直接占满内存
List<Object> allObjects = new ArrayList<>();
try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(path))) {
    while (true) {
        try {
            Object obj = ois.readObject();
            allObjects.add(obj); // 这里是罪魁祸首！所有对象都留在内存里
            // 处理obj...
        } catch (EOFException e) {
            break;
        }
    }
}

这种写法会把10万个对象全部存在集合中，每个对象的内存开销加上集合本身的占用，直接冲到700MB甚至更高完全正常。

正确的逐对象读取姿势 #

关键是不要保留所有对象的引用，读完一个就处理，处理完就让GC把它回收掉。正确的代码应该是这样：

public static void main(String[] args) throws Exception {
    int processedCount = 0;
    String path = "data/file.bin";
    
    // 用BufferedInputStream做缓冲，提升读取效率（和BufferedReader逻辑一致）
    try (ObjectInputStream ois = new ObjectInputStream(new BufferedInputStream(new FileInputStream(path)))) {
        while (true) {
            try {
                Object obj = ois.readObject();
                processedCount++;
                
                // 只处理当前对象，处理完就不要保留引用
                handleObject(obj);
                
                // 手动置空，帮助GC更快回收（非必须，但极端情况有用）
                obj = null;
                
                // 每处理1000个对象可以提示GC一次（JVM会自行判断，只是辅助）
                if (processedCount % 1000 == 0) {
                    System.gc();
                }
            } catch (EOFException e) {
                // 读取到文件末尾，跳出循环
                break;
            }
        }
    }
    System.out.println("共处理 " + processedCount + " 个对象");
}

private static void handleObject(Object obj) {
    // 在这里写你的业务逻辑：比如解析数据、写入数据库、生成报表等
    // 方法执行完毕后，obj的引用就会被释放，GC可以回收它的内存
}

这里的核心优化点：

• 用BufferedInputStream包装文件输入流，和BufferedReader一样通过缓冲减少磁盘IO次数
• 读取一个对象就处理一个，处理完成后立即置空引用，让JVM可以及时回收内存
• 绝对不要把所有对象存储到全局集合或变量中

额外优化建议 #

如果内存占用还是超出预期，可以试试这些进阶方案：

• 换用轻量序列化框架：Java原生的ObjectOutputStream序列化出来的对象有不少额外开销，换成Kryo、Protobuf这类框架，不仅二进制文件更小，反序列化后的对象内存占用也会大幅降低
• 优化自定义对象：如果你的对象包含大字段（比如长字符串、数组），可以考虑分块读取或延迟加载
• 调整JVM参数：临时应急可以调大堆内存（比如-Xmx1g），但这只是治标，核心还是要避免一次性加载所有对象

内容的提问来源于stack exchange，提问作者zakaria35